Google Cloud, açık kaynaklı dağıtık çıkarım yığınının ilk kararlı sürümü olan llm-d 1.0'ı yayınladı. Kuzey Amerika PyTorch Konferansı'nda tanıtılan bu Kubernetes‑yerel katman, vLLM ve SGLang model sunucularını koordine bir havuzda birleştiriyor ve geleneksel yuvarlak robin yük dengelemesinin yetersiz kaldığı kendi kendine barındırılan ajan ve pekiştirmeli öğrenme iş yüklerini hedefliyor.
Yazılım, Red Hat, IBM, Google Cloud, CoreWeave ve NVIDIA gibi kuruluşların oluşturduğu bir koalisyon tarafından geliştirildi ve bir CNCF Sandbox projesi olarak yürütülüyor. 1.0 sürümü çok kiracılı hizmet kalitesi, kesintisiz yükseltmeler, ajan‑bilinçli oturum yönlendirmesi, eşzamanlı olmayan çıkarım işleme ve genişletilmiş TPU desteği getiriyor. Sistem, önbelleğe alınmış önekleri izleyen ve bağlamın zaten bulunduğu kopyalara istekleri yönlendiren Kubernetes Gateway API Inference Extension üzerine inşa edilmiş bir yönlendiriciye dayanıyor.
Kendi rapor ettikleri çok bölge dağıtımları üzerindeki ölçütlerde, sistem önemli performans artışları sağladı. Ironwood TPU iş yükünde, önek‑bilinçli yönlendirme ve ana bellek dışarı aktarımı, ortalama ilk token süresini %85'in üzerinde azaltarak verimliliği 2,4 kat artırdı. Snap ve Zenteiq gibi kullanıcılar, daha yüksek önbellek isabet oranları ve kat kat artan verimlilik rapor etti.
Bu sürüm önemli çünkü dağıtık TPU ve GPU filolarını optimize eden üretime hazır bir altyapı sunarak, kendi kendine barındırılan AI ajanları için gecikmeyi ve işletme maliyetlerini büyük ölçüde azaltıyor.