Alibaba, aşırı uzun ufuklu AI ajanlarını eğitmek için tasarlanmış elastik bir pekiştirmeli öğrenme çerçevesi QwenGyre'yi tanıttı. Sistem, saatlerce süren ve yaklaşık bir milyon token işleyen ajan rollout'larının zorluklarını başarıyla çözüyor. Qwen 3.8 2.4T gibi amiral gemisi modellerde test edilen QwenGyre, geleneksel kurulumlara göre 1.21x ile 1.85x arasında önemli hız artışları sağlarken NL2RepoBench üzerindeki performansı %52,5'ten %58,5'e yükseltti.
Çerçeve, çok düğümlü GPU kümelerinde çalışır ve ölçekleme verimsizliklerini çözmek için iki temel yeniliğe dayanır. İlk olarak, elastik zamanlayıcısı boşta kalan GPU'ları rollout görevleri ile eğitim aşamaları arasında dinamik olarak hareket ettirir; KV‑cache blok göçünü RDMA üzerinden ve Mooncake'in Transfer Engine'ini kullanarak sadece birkaç saniyede rol değiştirmeyi sağlar. İkinci olarak, trajektori işlemcisi, karmaşık ve dallanan ajan geçmişlerini token‑in‑token‑out kaydı, zaman aşımına uğrayan çalışmalara kısmi puanlama ve aşırı eğitim maliyetlerini önlemek için katı tekrarsızlaştırma ile sınırlı eğitim örneklerine dönüştürür.
Bu çerçeve önemlidir çünkü ultra uzun ufuklu kodlama ajanlarını eğitmek, geleneksel olarak şiddetli donanım bekletmeleri ve patlayan trajektori ağacı karmaşıklıkları nedeniyle zorlanmıştır. Küme kaynaklarını dinamik olarak dengeleyerek ve gradient güncellemelerini sadeleştirerek QwenGyre, daha verimli ve yetkin otonom yazılım mühendisliği ajanları için yolu açıyor.