Araçların Metinle Konuşmasına Gerek Yok: Ajanlar İçin Örtük Bağlam Sıkıştırma (Coca-Cola)

Çok Adımlı Ajanlarda Bağlam Yükü ve Dikkat Dağılması#

Büyük dil modeli (LLM) tabanlı ajanlar, çalıştırdıkları araçlardan (tools) dönen ham çıktıları genellikle doğrudan kendi bağlam (context) pencerelerine ekler. Ancak çok adımlı etkileşimler ilerledikçe, uzun ve gürültülü gözlemler ciddi bir bağlam yükü oluşturur. Bu durum modelin görevle ilgili kritik bilgilere olan dikkatini (attention) dağıtır. Mevcut token budama (pruning) ve metin özetleme yöntemleri ise ayrık (discrete) metin temsilleriyle sınırlı kaldığı için ulaşılabilecek sıkıştırma oranlarında doğal bir darboğaza takılır.

Yazılım Geliştirme Açısından Anlamı:

• Tool Calling ve Multi-Step Agent'lar geliştirirken, web araması veya API yanıtları gibi ham verileri doğrudan modele beslemek hem maliyeti artırır hem de modelin karar kalitesini düşürür.
• Metin tabanlı özetleme katmanları ek gecikme yaratırken, ayrık kelimelerin ötesine geçemez.

Coca-Cola: Sürekli Örtük Bağlam Sıkıştırma ve Eylem Koruyucu Eğitim#

Bu çalışma, ajanların araç gözlemlerini mutlaka açık metin token'ları olarak tüketmesi gerektiği yönündeki yaygın varsayımı sorgulamaktadır. Bu doğrultuda geliştirilen Coca-Cola, LLM ajanları için sürekli örtük (continuous latent) bir bağlam sıkıştırma modelidir. Coca-Cola, araçlardan gelen gözlemleri örtük token'lara sıkıştırır ve bunları doğrudan ajanın girdi gömme (input embedding) uzayına yerleştirir.

Buna ek olarak çalışmada Eylem Koruyucu Eğitim (Action-Preserving Training) yaklaşımı sunulmaktadır. Bu yöntem, ajanın tam gözlemler altındaki bir sonraki eylem dağılımı ile sıkıştırılmış gözlemler altındaki eylem dağılımını hizalar. Böylece sıkıştırma modeli, ham metnin tamamını koruma çabası yerine yalnızca karar verme açısından kritik bilgileri barındıran, "eylem için yeterli" (action-sufficient) örtük token'lar öğrenir.

Dört farklı soru-cevap (QA) kıyaslama testi ve iki model ailesi üzerinde web arama ajanlarıyla yapılan deneyler, Coca-Cola yaklaşımının çarpıcı sonuçlarını ortaya koymaktadır:

• Ajanın token tüketimini %70,01 ile %89,24 oranında azaltır.
• Uçtan uca çalışma süresini (runtime) %24,45 ile %55,97 oranında kısaltır.
• Tüm bu tasarrufları sağlarken görev performansını tutarlı bir şekilde artırır.

Geliştiriciler İçin Pratik Çıkarımlar#

• Eylem Odaklı Bilgi Filtreleme: Ajan mimarilerinde önemli olan ham verinin ne kadar eksiksiz taşındığı değil, ajanın bir sonraki doğru eylemi (next-action) seçmesine yetecek bilginin korunmasıdır.
• Ölçeklendirme ve Optimizasyon: Üretim ortamında çalışan ajanlarda bağlam sıkıştırma, yalnızca token maliyetini düşürmekle kalmaz; gürültüyü temizlediği için uçtan uca yanıt süresini hızlandırır ve Production'da Agent Güvenilirliği seviyesini yukarı taşır.
• Açık Kaynak Erişimi: Araştırmacıların paylaştığı uygulama kodlarına https://github.com/THU-Agent/Coca-cola adresinden ve makale detaylarına https://huggingface.co/papers/2611.06500 bağlantısından incelenmek üzere erişilebilir.