X-Tree: Yeniden Kullanılabilir Deneyimleri Belirteçleştirerek Verimli Ajan Genelleştirmesi

Giriş ve Problem: Düz Eylem Akışlarının Yetersizliği#

Çok adımlı (multi-step) yapay zekâ ajanları geleneksel olarak düz eylem akışları üzerinde eğitilmektedir. Denetimli ince ayar (SFT) ve doğrulanabilir ödüllü pekiştirmeli öğrenme (RLVR), her belirteci (token) tekdüze şekilde ağırlıklandırır. Bu yaklaşım, farklı görevler arasında sürekli tekrar eden alt yordamları ve insanların yukarıdan aşağıya planlama yapmasını sağlayan hiyerarşik rutinleri göz ardı eder. Bu yapısal zenginlik kullanılmadığında, elde edilmesi maliyetli olan sınırlı eğitim yörüngeleri (trajectories) potansiyelinin çok altında değerlendirilir.

X-Tree Yaklaşımı: Veriden Hiyerarşik Beceri Ağacı Çıkarma#

Son dönemdeki ajan sistemleri bu hiyerarşik yapıdan yararlansa da, bunu yalnızca bağlam penceresine (in-context) yerleştirilen ve LLM tarafından üretilen becerilerle sınırlı tutmaktadır. Bu beceriler model ağırlıklarına işlenmediği için sağlanan kazanımlar getirme (retrieval) sınırlarının ötesine genellenemez.

X-Tree, bu hiyerarşiyi harici hiçbir LLM çağrısı yapmadan doğrudan verinin kendi yapısından kurtarır ve modeli bu yapı üzerinde eğitir. Yalnızca frekans sayımıyla sözlük inşa eden metin belirteçleyicilerine (tokenizers) benzer şekilde, eylem aralıklarını yeniden kullanılabilirlik derecelerine göre puanlar. Standartlaştırılmış eylemleri birleştirerek yeniden kullanılabilir bir deneyim ağacı (X-Tree) oluşturur. Ağacın her bir düğümü, başarı getiren sık eylemlerin hangi alt becerilerden oluştuğunu modelleyerek verimli bir genelleştirme sağlar.

Üç Temel Eğitim Entegrasyonu#

X-Tree, model eğitimi aşamasında üç farklı yapılandırmaya entegre edilmiştir:

Çevrimdışı Pekiştirmeli Öğrenme (Offline RL): Ağaç içerisindeki her bir düğüm bağımsız bir eğitim örneği olarak değerlendirilir.
Çevrimiçi RLVR (Online RLVR): Keşif sürecini verimli kılmak amacıyla ajana dinamik ve uyarlanabilir bir beceri bonusu tanımlanır.
Politika İçi Öz-Damıtma (On-Policy Self-Distillation): X-Tree yapısı, modeli denetleyen öz-öğretici mekanizması için ayrıcalıklı bir bağlam olarak kullanılır.

Deneysel Sonuçlar ve Performans#

Üç farklı model ölçeğinde gerçekleştirilen kapsamlı deneylerde X-Tree, aynı veri ve hesaplama bütçesi altında standart yöntemlere kıyasla belirgin kazanımlar sağlamıştır:

WebArena: Başarı oranında (SR) %4,5'e varan artış,
ScienceWorld: Başarı oranında (SR) %5,8'e varan artış,
WebShop: Başarı oranında %4,1'lik artış.

Elde edilen analizler, bu kazanımların doğrudan X-Tree'nin hiyerarşik yapısından ve üç eğitim entegrasyonundan kaynaklandığını ortaya koymaktadır.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

Ajan tabanlı mimariler geliştiren yazılımcılar ve mühendisler için bu çalışma şu kritik pratik çıkarımları sunmaktadır:

Modülerlik ve Kod Kalıpları: Ajan iş akışlarını tekdüze tool çağrılarından ibaret görmek yerine, sık tekrarlanan operasyonları (veri doğrulama, API çağırma vb.) alt rutinler halinde modülerleştirmek gerekir.
Ağırlık Seviyesinde Kalıcılık: Yalnızca prompt veya bağlam içi getirme (RAG) yöntemlerine dayanmak yerine, başarılı eylem rutinlerini model ağırlıklarına aktarmak kalıcı genelleme sağlar.
LLM Bağımsız Hiyerarşi Çıkarımı: Hiyerarşik beceri yapısının harici LLM sorguları yerine frekans tabanlı çıkarılması, token maliyetlerini düşürür ve ölçeklenebilirliği artırır.

Bu konuyu derinlemesine öğrenmek isterseniz: Tool Calling ve Multi-Step Agent'lar modülüne göz atın.