OpenAI'nin GPT-6-Astra, Codex kodlama ortamını kullanarak ortalama $2.40 maliyetle 50 teorik fizik araştırma probleminden 49'unu çözdü. Harvard Üniversitesi, Uluslararası Teorik Bilimler Merkezi, KU Leuven ve Google DeepMind dahil olmak üzere 35 araştırmacı, AI ajanlarını yayınlanmamış hesaplamalarla test etmek için TheoPhysEval kıyaslamasını yayımladı.
Anthropic'in Opus 5.5 benchmark'i %92 oranında çözerek ikinci oldu, Google'ın Gemini 3.8 Flash %68 puan aldı, açık ağırlıklı modeller DeepSeek-V4.1-Flash ve GLM 5.3 ise sırasıyla %54 ve %42 oranına ulaştı. Benchmark, on bir teorik fizik alt alanını kapsıyor ve büyük zorluklar yerine rutin araştırma çalışmalarını test ediyor; bir lider insan uzmanının tipik olarak bir günü süren problemleri kullanıyor.
Değerlendirme, internet erişiminin performans üzerinde çok az etkisi olduğunu gösterdi; bu da gelişmiş dil modellerinin teorik fizik literatürünü büyük ölçüde ezberlediğini gösteriyor. Uzmanlarla yapılan takip incelemeleri, referans çözümlerde küçük hatalar olduğunu ortaya çıkardı ve bu hatalar düzeltildiğinde Astra'nın yanıtları tüm problemler için doğru oldu. Bu performans, önde gelen AI ajanlarının artık belirli alt alanlarda insan uzmanlar kadar doğru karmaşık teorik hesaplamalar yapabildiğini gösteriyor.