Anthropic, Claude platformunda Message Threads'i halka açık beta olarak sundu ve uzun sohbetlerde ilk token süresini yaklaşık yüzde 35 oranında azalttı. Daha önce her API isteği, tüm konuşma geçmişinin yeniden gönderilmesini gerektiriyordu; yeni özellik ise 500.000 ile bir milyon token arasındaki isteklerde, son mesajdan itibaren değişen kısmı yalnızca iletir.
Şirket, bu yeteneğin özellikle kodlama ajanları, bilgisayar kullanımı ajanları ve büyük miktarda belge ya da görsel işleyen iş akışları için faydalı olduğunu belirtiyor. İstekler arasında konu başlığı bellek içinde şifreli kalır ve beş dakikalık hareketsizlikten sonra süresi dolar. Token tüketimi değişmez, çünkü Claude hâlâ tam konuşma geçmişini okur; özellik Claude platformunda doğrudan ve ayrıca AWS, Microsoft Foundry ve Google Cloud üzerinden de kullanılabilir.
Bu performans iyileştirmesi, karmaşık ve veri yoğun AI iş akışları ile çok adımlı ajan etkileşimlerinde gecikmeyi azaltması açısından önem taşır.