Stanford araştırmacıları Owen Queen ve James Zou, büyük dil modelleriyle ilgili yaygın olarak atıf yapılan araştırma iddialarının %44'ünün zaten süresinin dolduğunu buldular. Araştırmacılar, Temmuz 2024 ile Eylül 2026 arasında yayımlanan 20 model üzerinde 50 iddiayı test ederek, tahmini son kullanım tarihine sahip bulguların ortalama ömrünün yalnızca 15,7 ay olduğunu ortaya koydular. Çalışma, bulguların sadece %16'sının hâlâ geçerli olduğunu, %34'ünün önemli ölçüde zayıfladığını ve %6'sının ise güçlendiğini gösterdi.
Araştırma, modellerin neler yapamayacağına dair iddiaların en hızlı süresinin dolduğunu, özellikle harf sayma ya da alışılmadık sayı sistemlerinde aritmetik yapma gibi akıl yürütme ile ilgili zayıflıkların çabuk geçersiz hale geldiğini gösterdi. Buna karşılık, davranışsal tercih ve eğilimlere ilişkin bulgular daha uzun ömürlü çıktı; bunlar arasında dalkavukluk, öz‑değerlendirme tercihleri ve politik önyargılar yer alıyor. Çalışma ayrıca aynı yayın dönemine ait modeller arasında geniş performans farkları olduğunu vurguladı ve yayın tarihi, sağlayıcı ya da model büyüklüğünün gözlemlenen desenleri güvenilir şekilde tahmin etmediğini belirtti.
Queen ve Zou, yapay zeka ile ilgili ampirik bulguların evrensel gerçekler yerine belirli modellerin belirli bir zaman dilimindeki gözlemleri olarak çerçevelenmesi gerektiği sonucuna vardılar. Akademik makalelerin model sürümlerini, tam tarihleri, istemleri ve analiz kodunu ayrıntılı bir şekilde belgelemelerini, böylece yeni modellerde sürekli yeniden test yapılabilmesini önerdiler. Bu hızlı evrim, hızla değişen bir teknoloji ortamında doğru bilimsel literatürü korumanın zorluğunu ortaya koyuyor.