Yandex, geleneksel çok aşamalı öneri katmanlarını tek bir birleşik sistemle değiştiren Sona adlı üretken bir yapay zeka modeli tanıttı. Yandex akıllı hoparlörlerinde yedi günlük canlı üretim deneyi sırasında test edilen Sona, 15'ten fazla aday üreticiyi, ön‑sıralama aşamasını ve sıralama aşamasını tek bir sunulan transformer ile başarıyla değiştirdi.
Sona mimarisi, ortak bir kullanıcı temsili etrafında aday üretimi ve sıralamayı birleştiriyor. Sistem, semantik bir tokenleştirici, geçmiş sıkıştırmalı bir kodlayıcı (8.192 geçmiş olaya kadar dikkate alıyor), 2 katmanlı bir çözücü ve donmuş bir öğretmen sıralayıcıdan elde edilen rollout distilasyonu ile eğitilmiş bir sıralama modülü içeriyor. NVIDIA Triton Inference Server ve CUDA grafikleri üzerinde çalışan model, %41 model FLOP kullanım oranına ulaşarak ortalama uçtan uca gecikmeyi 45 dakika, p99 gecikmeyi ise 60 dakika olarak koruyor ve servis ağırlıklarını her 10 dakikada bir güncelliyor.
Neden önemli: Sona, el ile tasarlanmış özellikleri ve çok aşamalı karmaşıklığı ortadan kaldırarak tek bir üretken mimariyle üretim öneri hatlarını sadeleştiriyor.