Prime Intellect, 3.11 kat daha hızlı bir ileri geçiş sağlayan, eğitilebilir birleşik MoE çekirdeği içeren yeni bir eğitim uzantısı olan Prime Mega MoE'yi yayınladı. Daha önce yalnızca birleşik Mega MoE çekirdeği için çıkarım destekleyen DeepSeek'in açık kaynaklı DeepGEMM kütüphanesi üzerine inşa edilen Prime Intellect, teknolojiyi uzman karışımı modellerinin eğitiminde tam olarak kullanılabilir hâle getirmek için hızlı ve örtüşen bir geri geçiş ekledi.
NVIDIA H200 düğümleri kullanılarak yapılan son testlerde, uygulama Qwen3 MoE modellerinde tam eğitim adımlarını, prime-rl temel çizgisine göre %34'e kadar, TorchTitan'a göre ise %55'e kadar daha hızlı gerçekleştirdi. Performans artışı, iletişim ve hesaplamanın örtüşmesi ve yalnızca GPU'ya ait geçici tamponların kullanılması sayesinde elde edildi; bu da model eğitimi sırasında GPU'nun boşta kalma süresini önemli ölçüde azalttı. Geliştiriciler artık yeni çekirdeği, prime-rl eğitici yapılandırmasında dağıtım arka ucunu mega_moe olarak ayarlayarak kullanabilirler.
Neden önemli: Bu gelişme, birleşik MoE çekirdeklerini tam olarak eğitilebilir hâle getirerek GPU saatlerini azaltıyor ve uzman karışımı modellerinin eğitim hızını artırıyor.