Stanford ve UC Berkeley araştırmacıları, uzun bağlamlı LLM ön doldurmasını doğruluk kaybı olmadan 11,3 kat daha hızlı yapan yeni bir modül olan TokenGate'i tanıttı. Öğrenilen token budaması kullanarak, TokenGate önceden eğitilmiş dil modellerinin girdileri gözden geçirmesine izin verir, böylece yalnızca temel token'lar tam işleme tabi tutulur.
Modül, Qwen3 ve Qwen3.5 gibi mevcut modellere küçük bir çok katmanlı algılayıcı kapı ve Düşük Rütbeli Adaptasyon ekleyerek, en yüksek ön doldurma bellek tasarruflarını 1,5 ile 3,4 kat arasında sağlar. 128.000 token'a kadar görevlerde test edilen yöntem, üst‑K token seçimini türevlenebilir kılan Uzman Karışımı yönlendirme hilesini kullanarak birden çok budama temel çizgisini geride bırakıyor.
TokenGate, uzun bağlamlı transformer uygulamalarında gecikme ve bellek engellerini azaltmak için verimli, tak‑çalıştır bir çözüm sunar. Kaynak kodu ve model kontrol noktaları, Apache-2.0 lisansı altında GitHub'da herkese açıktır.