ProgAgent: Programatik Eğitim ile Büyük Dil Modellerinde Araç Orkestrasyonu

Doğrudan Araç Çağrısının (DTC) Sınırları ve Bağlam Bozulması#

Günümüz yapay zekâ sistemlerinde büyük dil modellerinden (LLM), uzun soluklu ve çok adımlı karmaşık görevlerde farklı harici araçları başarıyla koordine etmesi beklenmektedir. Mevcut otonom ajan mimarileri çoğunlukla Doğrudan Araç Çağrısı (Direct Tool Calling - DTC) yaklaşımını benimser. Bu yöntemde model, araçları tek tek ve ardışık biçimde çağırır; her bir aracın ürettiği ham yanıtlar ise doğrudan modelin bağlam penceresine (context window) eklenir. Ancak görev uzadıkça bağlamda biriken devasa veri yığını, modellerde bağlam çürümesine (context rot) ve neticesinde araç orkestrasyonunun tamamen çökmesine neden olur.

Çözüm: Programatik Araç Çağrısı (PTC)#

Bu darboğaza alternatif olarak geliştirilen Programatik Araç Çağrısı (Programmatic Tool Calling - PTC), araçları çalıştırılabilir kod parçacıkları üzerinden tetikler. PTC yaklaşımında ara hesaplama sonuçları modelin konuşma geçmişine yazılmak yerine, izole bir çalışma zamanı belleğinde değişkenler (runtime variables) halinde tutulur. Önceki araştırmalar PTC'yi yalnızca bir çıkarım (inference) anı optimizasyonu olarak değerlendirmiştir. Bu yöntemin ajan modellerinin temel eğitimindeki kazanımları belirsiz kalmış ve doğrulanabilir kaliteli eğitim veri setlerinin azlığı süreci kısıtlamıştır.

ProgAgent Mimarisi ve Eğitim Yığını#

ProgAgent çalışması, bu sınırlamaları aşmak amacıyla uçtan uca eksiksiz bir PTC eğitim yığını sunmaktadır. Bu yenilikçi sistem üç ana bileşenden meydana gelir:

Doğrulanabilir Uzun Görev Sentezleme Hattı: Karmaşık orkestrasyon adımlarını içeren, otomatik olarak test edilip doğrulanabilir eğitim senaryoları üretir.
Hafif PTC Çalışma Zamanı (Runtime): Araç yürütmelerini gerçekleştiren, değişken durumlarını saklayan ve bağlam yükünü hafifleten yürütme katmanıdır.
İki Aşamalı Eğitim Reçetesi: Modellerin araç orkestrasyonunu programlama mantığıyla uçtan uca öğrenmesini sağlayan özel bir eğitim akışıdır.

Benchmark Başarımı ve Değerlendirme#

ProgAgent, yalnızca dört farklı ortam ölçeğinde türetilen 215 görev ile eğitilmesine rağmen, dört farklı karşılaştırma testinde (benchmark) kendi ölçeğindeki temel modelleri geride bırakmıştır:

LOCA-bench Performansı: 64 bin (64k) token boyutundaki son derece zorlu ortam durumlarında standart DTC modelleri %0 başarı gösterirken, ProgAgent-14B modeli %30.7 başarı oranına (pass rate) ulaşmıştır.
Çapraz Değerlendirme Üstünlüğü: PTC ile eğitilen modeller, hem PTC hem de DTC test arayüzlerinde DTC tabanlı modellere kıyasla daha yüksek performans sergilemiştir. Bu bulgu, programatik eğitimin sağladığı yeteneklerin sadece kullanılan arayüzle sınırlı olmadığını, modelin genel akıl yürütme becerisini artırdığını göstermektedir.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

Bağlam Yönetimini Yeniden Düşünün: Ajan mimarilerinde her API çıktısını prompt içine eklemek yerine, çalışma zamanı değişkenleri ve izole bellek yapıları kullanarak bağlam çürümesini engelleyin.
JSON Yerine Kod Temelli Orkestrasyon: Karmaşık veri işleme adımlarında modeli ardışık JSON çağırmaya zorlamak yerine kod ürettirmek, kontrol akışını (döngüler, filtreler) daha verimli yönetir.
Eğitim Odaklı Yaklaşım: Programatik araç kullanımı sadece bir istem mühendisliği (prompt engineering) tekniği değil, modellerin temel eğitim süreçlerine entegre edilmesi gereken kritik bir mimari dönüşümdür.

Orijinal makaleye buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Tool Calling ve Multi-Step Agent'lar modülüne göz atın.