Artificial Analysis, Zeka Endeksini kökten yeniledi ve açık ile kapalı modeller arasındaki performans farkını önceki 3 puandan 12 puana çıkardı. Güncelleme, Kimi K3.1 Pro modelinin sıralamada beş sıra kaybetmesine, dördüncü sıradan dokuzuncuya, sekiz kapalı modelin gerisine düşmesine neden oldu. Grok 4.7 de güncellenen değerlendirmede 12 puan kaybetti.
Endeksin 5. sürümündeki değişiklikler, Artificial Analysis'in değerlendirmesinin %60'ını özel test setlerine dayandırmasından kaynaklanıyor; bu değişiklik, modellerin bilinen test sorularına özel olarak eğitildiği benchmaxxing'i önlemeyi amaçlıyor. Yapay zeka araştırmacısı Nathan Lambert, eğitim kazançlarının benchmark benzeri görevlerin bulunduğu pekiştirmeli öğrenme ortamlarında da ortaya çıktığını ve birden fazla alanda rekabet edebilmenin, her laboratuvarın sahip olmadığı karmaşık bir altyapı gerektirdiğini belirtti.
Yeni özel test setleri belirli sorulara yönelik optimizasyonu sınırlamaya yardımcı olurken, dışarıdan kişilerin istem hatalarını tespit edememesi gibi dezavantajlar da getiriyor. Bu sınırlama, Artificial Analysis'in yeni endeks sürümü için AA-Omniscience bilgi testindeki belirsiz ve hatalı soruları revize etmek zorunda kaldığında ortaya çıktı.
Bu endeks güncellemesi, benchmark optimizasyonunu sınırlayarak ve açık ile kapalı modeller arasındaki gerçek performans farklarını ortaya çıkararak yapay zeka yeteneklerinin daha titiz bir değerlendirmesini sunduğu için önem taşıyor.