Hugging Face baş politika sorumlusu Irene Solaiman, geçen hafta TechCrunch Disrupt'ta AI model değerlendirmelerinin sektöre güvenilir bir temel sunabilmesi için daha tutarlı bir bilim haline gelmesi gerektiğini söyledi. Laboratuvarlar, AI performansını ölçmek için kıyaslama sistemlerine itibarlarını bağlamış olsa da, tekrarlanabilirlik hâlâ büyük bir zorluk. Solaiman, değerlendirme sonuçlarının yeniden üretilmesinin büyük ölçüde model ağırlıklarına erişime bağlı olduğunu vurgulayarak, açık ağırlıkların bu tartışmadaki kritik bir faktör olduğunu belirtti.
Tartışma, farklı değerlendirmeleri karşılaştırmanın sınırlamalarını ve gömülü değerlendirici ekosistemi için artan talebi de gündeme getirdi. Nötr üçüncü taraf gözlemcileri AI organizasyonlarının içine yerleştirmek, aktif devlet düzenlemesinin yerine geçecek şekilde popülerleştirilmiş olsa da, nitelikleri ve etkinliği konusunda şüpheler devam ediyor. Örneğin, Anthropic, danışmanlık firması Accenture'ı ilk güvenlik değerlendiricisi olarak işe aldıktan sonra tepkilerle karşılaştı; bu durum, etkili bir değerlendiricinin kim olduğu konusunda standart eksikliğini gösteriyor.
Değerlendirmeler, yalnızca modelleri test etmekten tüm sistemleri, bağlayıcıları ve AI ajanlarını da kapsayacak şekilde genişliyor. Solaiman, daha zayıf bir modelin üstün bir kullanıcı bağlayıcısıyla birleştirildiğinde, öncü bir modeli bile kolayca geride bırakabileceğini, ajan temelli değerlendirmelerin ise hâlâ zor ve maliyetli olduğunu belirtti. Neden önemli: AI kıyaslaması karmaşık bir serbest yarışa dönüşürken, sektör güvenilirliği ve anlamlı performans karşılaştırmalarını sağlamak için tek tip, standart bir yaklaşıma ihtiyaç duyuyor.