DeepSeek, üretim hizmetlerini güçlendiren ve DeepSeek-V4.1-Flash'in motoru olan yüksek performanslı çıkarım çerçevesi DeepInfer'i açık kaynak olarak sundu. Apache 2.0 lisansı altında, MIT lisanslı deepseek-recipe token kodlama ve kod çözme katmanı ile birlikte yayınlanan bu sürüm, geliştiricilere öncü bir yapay zeka laboratuvarının gerçek servis yığınına nadir bir bakış sunuyor. Çerçeve, NVIDIA SM100 Blackwell GPU'ları ve Huawei Ascend 950 NPU'ları üzerinde çalışıyor ve tek bir kümenin günde 155 trilyon token hizmet verebileceği üretim seviyesinde bir verimlilik sağlıyor.
Başlangıçta vLLM üzerine, SGLang ve TensorRT-LLM'den alınan mimari fikirlerle inşa edilen DeepInfer, FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect ve TileLang gibi özel çekirdekleri bütünleştiriyor. Dikkat Veri Paralelliği ile Geniş Uzman Paralelliği'nin birleştirildiği, DSpark aracılığıyla güvenilirlik zamanlamalı spekülatif kod çözme ve bağlam uzunluğundan bağımsız olarak kayar pencere dikkat yeniden hesaplama maliyetlerini sabit tutan SWA sınırlı tekrar gibi ileri düzey iyileştirmeler sunuyor. Bu mühendislik kararları, 4 GPU'yu ön doldurma, 64 GPU'yu kod çözme için kullanan benchmarklarda, her GPU başına saniyede 25.000'den fazla çıktı tokeni ve rank başına 256 istek elde ederek önemli bir performans artışı sağlıyor.
Etkileyici hızı ve verimliliğine rağmen, DeepInfer şu anda yalnızca çevrim dışı çıkarımı destekliyor ve KV önbellek sistemi, ön doldurma‑kod çözme ayrıştırması ve replikalar arasında yük dengeleme gibi yerleşik bileşenlerden yoksun. Bu sürüm, en yeni büyük dil modeli dağıtımlarını ölçekli bir şekilde yöneten, saha testlerinden geçmiş altyapıya daha geniş geliştirici ve araştırma topluluğunun doğrudan erişim sağlaması açısından önem taşıyor.