SLCA-GRPO: Araç Çağıran Ajanlarda Kredi Yanlış Atamasını Çözen Pekiştirmeli Öğrenme

Giriş ve Temel Problem: Kredi Yanlış Ataması (Credit Misattribution)

Araç çağıran (tool-calling) yapay zekâ ajanları, yapılandırılmış araç çağrıları (fonksiyon ve API tetiklemeleri) ile kullanıcıya yönelik doğal dil özetlerini ardışık olarak üreten heterojen bir çıktı yapısına sahiptir. Özellikle çok adımlı (multi-step) görevlerde bu heterojenlik, standart politikalı pekiştirmeli öğrenme (on-policy RL) algoritmalarında ciddi bir yapısal başarısızlık moduna yol açar. Örneğin GRPO (Group Relative Policy Optimization) gibi yaygın algoritmalar, tüm token'lara ayrım gözetmeksizin yörünge düzeyinde homojen bir skaler avantaj dağıtır. Bunun sonucunda serbest metin halindeki özet üretiminden kaynaklanan gradyan gürültüsü, araç seçim ve yürütme token'larına sızar. Segmentler arası kredi yanlış ataması (cross-segment credit misattribution) olarak adlandırılan bu sızıntı, politika optimizasyonunu son derece kırılgan ve dengesiz hale getirir.

SLCA-GRPO Mimarisi ve Çözümün Temel Bileşenleri

Bu temel arıza modunu ortadan kaldırmak için önerilen SLCA-GRPO çatısı, segment kilitli kredi ataması (Segment-Locked Credit Assignment - SLCA) mekanizması üzerine inşa edilmiştir ve şu temel bileşenleri kapsar:

SGLS (Schema-Guided LLM Simulator): Yüksek maliyetli ve yavaş gerçek API çağrılarına gerek kalmadan ölçeklenebilir keşif ve kararlı eğitim sağlayan temel şema kılavuzlu simülatör altyapısıdır.
SLCA (Segment-Locked Credit Assignment): Ara durumlardan ilave örneklemeler (rollout) gerektirmeden, tek bir rollout grubu içinde yapısal segment düzeyinde avantaj tahminini birbirinden ayrıştırır.
HierR (Hiyerarşik Ödüller - Hierarchical Rewards): Yürütme avantajlarını doğrudan araç token'larına, tercih avantajlarını ise özet metin token'larına yönlendirir. Böylece her politika güncellemesinde segmentler arası avantaj kirlenmesi (advantage contamination) tamamen engellenir.

Deneysel Başarı ve Performans Kazanımları

7B parametreli bir omurga model üzerinde gerçekleştirilen deneylerde SLCA-GRPO, eşit eğitim bütçesi altında standart GRPO, ToolPO ve RLTR modellerini geride bırakmış ve yakınsamayı belirgin şekilde hızlandırmıştır:

Alan İçi (In-Domain) Değerlendirme: +%2,53 puan artış
Berkeley Function-Calling Leaderboard (BFCL): +%1,36 puan artış
τ²-Bench Değerlendirmesi: +%9,15 puanlık güçlü performans artışı
Model, daha yüksek doğruluğa ulaşırken lüzumsuz araç çağırma fazlalığını (redundancy) ve maliyetleri önemli ölçüde düşürmüştür.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar

Ödül Dağıtımını Ayrıştırın: Çok adımlı ajan tasarımlarında deterministik araç doğruluğu ile doğal dil üslubu aynı ödül havuzunda değerlendirilmemelidir; her segment kendi etki alanına göre bağımsız kredi almalıdır.
Şema Tabanlı Simülasyon Kullanımı: Geliştirme ve ince ayar süreçlerinde harici API bağımlılığını kesmek için SGLS benzeri sentetik ortamlar kurmak, test maliyetlerini sıfırlar ve eğitimi hızlandırır.
Maliyet ve Gecikme Optimizasyonu: Doğru kredi ataması ajanın mükerrer ve gereksiz araç çağırma eğilimini baskılar; bu da üretim sistemlerinde daha düşük gecikme ve daha az API harcaması sağlar.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.29050)

Bu konuyu derinlemesine öğrenmek isterseniz: Tool Calling ve Multi-Step Agent'lar modülüne göz atın.