vLLM Semantic Router ekibi, metin, JSON ve görselleri işleyerek yazılı sorulara yanıt veren yeni bir çok modlu karar modeli ailesi olan Decision 3.0'ı yayınladı. Apache-2.0 lisansı altında 0.8B'den 27B parametreye kadar beş farklı boyutta sunulan Decision 3.0, geliştiricilere ayrıştırılmış metin yerine kalibre edilmiş olasılıklar döndürerek istekleri sınıflandırmak, yönlendirmek ve kontrol etmek için hızlı bir yol sağlamayı hedefliyor.
Qwen temel modellerinin ince ayarları olarak inşa edilen ve bütünleşik görsel kodlayıcılarla donatılan bu modeller, tek bir çağrıda istekleri değerlendirerek yapılandırılmış puanlar sunar. İç değerlendirmeler, 27B d3 modelinin Jev Decision Index 0.3.1'deki metin ve görsel tablolarında lider olduğunu, 9B d3-flash gibi daha küçük varyantların ise önceki neslin 27B modelinden daha iyi performans gösterdiğini ortaya koyuyor. AMD Instinct MI325X GPU üzerinde yapılan gecikme testleri, en küçük model için ortalama 21,7 milisaniye, en büyük varyant için ise 84 milisaniye metin işleme hızları gösteriyor.
Bu sürüm, geliştiricilere geleneksel üretken çıktıları ayrıştırma yükü olmadan koruma hatlarını ve sınıflandırma görevlerini hızlandıran açık kaynaklı, yüksek hızlı karar yönlendirme araçları sunması nedeniyle önem taşıyor.