NVIDIA araştırmacıları, Princeton Üniversitesi ve Maryland Üniversitesi ile birlikte, çoklu tur LLM ajanlarının erken kritik hatalardan kurtulmasına yardımcı olmak için tasarlanmış bir politika‑üzerine damıtma yöntemi olan PivotOPD'yi tanıttı. Yeni eğitim tekniği, ajanların tek bir geri döndürülemez hata yaptıktan sonra onlarca turu boşa harcadığı standart politika‑üzerine damıtma ve sonuç‑temelli pekiştirme öğrenmedeki büyük bir kör noktayı gideriyor. NVIDIA H100 düğümleri kullanılarak Qwen3 ve Nemotron öğrenci modelleri üzerinde test edilen PivotOPD, ajanlara hem erken hatalardan kaçınmayı hem de hata meydana geldiğinde rotayı düzeltmeyi başarıyla öğretiyor.
Yöntem, tek bir PPO güncellemesinde üç temel bileşeni birleştiriyor: daha büyük bir öğretmen modeli kullanarak otomatik kritik tespiti, ters KL ile kötü eylemlerden öğrenciyi uzaklaştıran önleyici damıtma ve ileri KL ile öğrenciyi kurtarma yolları üzerinde eğiten iyileşme damıtması. ALFWorld, WebShop ve arama‑temelli Soru‑Cevap gibi ölçütlerde PivotOPD, 13 temel modele göre daha iyi performans göstererek başarı oranlarını önemli ölçüde artırdı. Özellikle, standart politika‑üzerine damıtmaya kıyasla yalnızca %20,3 iken, tekrarlanan kritik hatalardan %72,7 kurtarma oranı elde etti; tüm bunlar çıkarım süresine ek bir maliyet getirmeden gerçekleşti.
Bu eğitim ilerlemesi önemlidir çünkü geleneksel pekiştirme öğrenmesi ve standart damıtma tekniklerinin sürekli kaçırdığı güvenilir çoklu tur yürütme yeteneklerini açığa çıkarır; böylece daha küçük modeller öğretmen seviyesine daha yakın bir yetkinlik sergileyebilir.