CloudOpsBench, Michigan Üniversitesi'nde Ang Chen liderliğindeki deneyimli DevOps mühendisleri tarafından geliştirilen yeni bir açık kaynaklı benchmark, akıl yürütmenin bulut operasyonlarında yapay zeka için en büyük darboğaz olduğunu ortaya koyuyor. Benchmark'in 1.0 sürümü, hizmetleri düzeltme, kaynakları kaldırma, erişim haklarını kısıtlama, güncellemeleri dağıtma ve projeleri devreden çıkarma gibi AWS üzerinde 45 görevi içeriyor.
Testler, en iyi modellerin bile bu görevlerin çoğunda başarısız olduğunu gösteriyor; Claude Fable 5.1 %60, GPT-6 Astra ise %53 oranında çözüme ulaşıyor. Araştırma ekibi, hataların yaklaşık %80'inin AI ajanlarının görevin kapsamını yanlış değerlendirmesi, ilgili hizmetleri kontrol etmemesi ya da çok erken durması nedeniyle ortaya çıktığını, geri kalan %20'lik kısmın ise potansiyel olarak geri dönüşü olmayan altyapı sonuçları doğurabilecek hatalı eylemlerle ilgili olduğunu buldu.
Tüm benchmark görevleri gerçek AWS bulutunda ve bir emülatörde aynı şekilde çalıştırılıyor; GCP, Azure ve OCI için genişletme planları bulunuyor. Apache 2.0 lisansı altında GitHub'da ayrıntılı bir hata analiziyle birlikte yayınlanan bu proje, AI ajan güvenilirliğindeki mevcut sınırlamaları ölçmeye ve gidermeye yardımcı oluyor.