Analitik firma SemiAnalysis, gerçekçi profesyonel yazılım ortamlarında 206 karmaşık görevde AI ajanlarını test eden GDPx kıyaslamasını yayınladı. İlk sonuçlar, hiçbir AI ajanının %12’nin üzerine çıkmadığını gösteriyor ve mevcut otomatik bilgi işi yeteneklerindeki önemli sınırlamaları ortaya koyuyor.
Claude Opus 5.5, %12 puanla liderliği elinde tutarken, Google’ın Gemini 4 Carbon %10,9 ve GPT-6 Astra %9,6 ile yakından takip ediyor. Kıyaslama, çip tasarımı, nicel ticaret ve siber güvenlik gibi on bir alanda, birkaç saat süren performansı değerlendiriyor ve hatta küçük bir tablo hatasının bile sonuçları geçersiz kıldığı katı değerlendirme kriterleri kullanıyor.
Güvenlik filtreleri ve sağlayıcı yazılım koşullarındaki farklılıklar, model performansını ve farklı uzman test alanlarındaki sıralamaları büyük ölçüde etkiliyor. Kapalı görev gizliliği, AI laboratuvarlarının modellerini test sorularına doğrudan optimize etmesini engellerken, eleştirmenler her alan için az sayıda görevin sonuçları dalgalı hâle getirdiğini belirtiyor.
Bu kıyaslama önem taşıyor çünkü teorik AI yetenekleri ile gerçek dünyadaki profesyonel yazılım ortamlarında güvenilir yürütme arasındaki geniş boşluğu ortaya koyuyor.