Zyphra, gerçek alt‑kareli dikkat elde etmeyi hedefleyen ağaç yapısına sahip bir indeksleyici etrafında inşa edilmiş seyrek dikkat yöntemi Zyphra Hierarchical Attention (ZHA)’yı yayınladı. Geleneksel seyrek dikkat yöntemleri, tokenları seçen indeksleyicinin hâlâ tüm bağlamı taraması nedeniyle, bir milyon token civarında katman süresinin %90’ına kadar tüketen önemli bir darboğaza sahiptir. ZHA, token aramasını da seyrek hâle getirerek, tam anahtar‑değer önbelleğini tutarken, hangi önbelleğe alınmış anahtarların her sorgu tarafından okunacağını belirlemek için ağaç yapısını kullanarak bu boşluğu kapatıyor.
Zyphra’nın teknik makalesine göre, ZHA yaklaşık dört milyar token kullanılarak donmuş ön‑eğitimli modellere verimli bir şekilde damıtılabiliyor. Qwen3.6-35B-A3B modeli üzerinde test edildiğinde, ZHA akıl yürütme, ajan‑kodlama ve 256K geri getirme benchmark’ları boyunca yoğun dikkate yakın bir performans sergiliyor. Yöntem, token bütçesini uyarlamalı hâle getiren bir top‑p yönlendirme mekanizması kullanıyor; bu sayede sorgular, ihtiyaç duyulan bilgiye göre ağaç dallarını dinamik olarak genişletebiliyor. LongBench v2 benchmark’unda, derin‑ağaç konfigürasyonu %63,4 puan alırken, yoğun dikkat %58,0 puan elde etti ve sadece yaklaşık %1,1 anahtar kullanıldı.
256K bağlamda elde edilen hız artışları mütevazı olsa da, H100 BF16 çatı hatlarına dayanan modellemeler, milyonlarca token gibi çok daha büyük ölçeklerde önemli performans kazançları öngörüyor. Bu gelişme, transformer modellerinde son derece uzun bağlamları tam yoğun dikkat hesaplamalarına ihtiyaç duymadan ele alabilecek ölçeklenebilir bir yol sunuyor.