Microsoft ve Hong Kong Şehir Üniversitesi'nden araştırmacılar, yapay zeka ajanlarının uzun süren görevlerde karar verme yetilerini değerlendirmek için Taste-Bench'i tanıttı. Mevcut ölçütler yalnızca bir ajanın görevi tamamlayıp tamamlamadığını ölçerken, süreçteki adımların kalitesini değerlendirmiyor. Yeni yöntem, kodlama ve araştırma görevlerinde binlerce puanlanmış ajan çalışmasından elde edilen geriye dönük verileri kullanarak, alternatif yolların ayrıldığı karar çatalları tespit ediyor. Bu çatallarda çalışmaları dondurarak araştırmacılar, modellerin daha üstün uzun vadeli yönü seçip seçemeyeceğini test etmek için 502 soru oluşturdu.
Ekip, GPT, Claude, Grok, DeepSeek, GLM, MiniMax ve Mistral gibi önde gelen ailelerden 14 modeli test etti. En iyi performans gösteren model, ortalama %59,7 doğruluk elde ederken, diğer tüm modeller ikili seçim değerlendirmesinde çok daha düşük puanlar aldı. Sonuçlar, bir kararın sonuçlarının ancak uzun süren sonraki çalışmalar sonrasında ortaya çıktığında modellerin ciddi şekilde zorlandığını, öngörü gerektiğinde doğruluğun neredeyse rastgele tahmine düştüğünü gösterdi. Ayrıca, akıl yürütme ayarlarının artırılması, bu karmaşık çok adımlı kararlarda model performansını anlamlı ölçüde iyileştirmedi.
Bu araştırma önem taşıyor çünkü yapay zeka ajanları yazılım geliştirme ve araştırma gibi karmaşık, çok adımlı projeleri giderek daha fazla üstlenirken, uzun vadeli stratejik kararlar alabilme yetenekleri hâlâ büyük bir darboğaz oluşturuyor.