ToolSpace: Uzun Ufuklu Ajanlar İçin Araç Odaklı Ortam Sentezini Ölçeklendirme

Büyük dil modelleri (LLM'ler), günümüzde Model Context Protocol (MCP) servisleri üzerindeki çeşitli araçları birleştirerek çalıştırılabilir iş akışları oluşturan uzun ufuklu ajanlar olarak konumlandırılıyor. Ancak mevcut MCP ortam ölçeklendirme yöntemleri veri odaklı (data-centric) bir yaklaşım benimsiyor: Önce bir veritabanı ve senaryo sentezleniyor, ardından araçlar ve görevler bunlardan türetiliyor. Bu durum yazılım geliştirme pratiğinde ciddi sorunlara yol açıyor; araç arayüzleri gerçek dünyadaki karşılıklarıyla uyuşmuyor, araç birleşimleri gerçek çalıştırma (execution) temeline dayanmıyor ve görevler nadiren birden fazla ortamı kapsıyor.

ToolSpace: Araç Odaklı Yeni Bir Paradigma#

ToolSpace, bu geleneksel sırayı tersine çeviren araç odaklı (tool-centric) bir çerçeve sunuyor. Sistemin çalışma mimarisi ve mühendislik adımları şu şekilde ilerliyor:

• Deterministik Bağımlılık Madenciliği: ToolSpace, gerçek MCP servislerinin çalıştırma izlerinden (execution traces) ve açık ajan veri kümelerinden ardışık çağrıları analiz eder. LLM yargısına güvenmek yerine deterministik kurallar kullanarak veri, durum (state) ve yeniden deneme (retry) bağımlılıklarını çıkarır ve oluşan ağırlıklı araç birleşim grafiğini ortamlara kümeler.
• Hibrit Durum ve Veritabanı Yönetimi: Veritabanları yalnızca durumu değiştiren (state-mutating) ortamlar için sentezlenir. Sorgu tabanlı ve durumsuz (stateless) araçlar ise kaydedilmiş gerçek dönüş değerlerini yeniden oynatır (replay).
• Durum Farkındalıklı Görev Üretimi: Sistem, geri alma (rollback) mekanizmasına sahip durum farkındalıklı rastgele yürüyüşler (random walks) gerçekleştirir. Her bir araç zincirini, doğrulama (assertion) tabanlı kontroller içeren doğal dil görevlerine dönüştürür ve yalnızca başlangıç durumundan itibaren başarıyla yeniden oynatılabilen örnekleri korur.

Deneysel Sonuçlar ve Performans Kazanımları#

Bu veri hattı AutomationBench ve tau3-Bench Banking kıyaslamalarına uygulandığında, 7 öncü modelin performansının 38,2 puana kadar düştüğü çok daha zorlu "Pro" sürümler elde edilmiştir. Yedi farklı uzun ufuklu araç kullanımı kıyaslamasında ToolSpace:

• Qwen3.6-35B-A3B modelinin ortalama puanını 23,0'dan 41,0'a (pekiştirmeli öğrenme - RL ile 43,2'ye) yükseltmiştir.
• GLM-5.2 modelini 44,6'dan 56,6'ya çıkararak Claude Opus 5 ile aynı seviyeye getirmiştir.
• Ablasyon çalışmaları, gerçek çalıştırmayla kanıtlanmış bağlantıların LLM tarafından tahmin edilenlerden açıkça üstün olduğunu ve veri ile ortam ölçeği büyüdükçe performansın artmaya devam ettiğini göstermektedir.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

Edumints üzerindeki Production MCP Entegrasyonu, Tool Calling ve Multi-Step Agent'lar ile Production'da Agent Güvenilirliği modülleri bağlamında bu araştırmadan çıkarılabilecek temel mühendislik dersleri şunlardır:

• Gerçek İzleri (Traces) Kullanın: Sentetik test senaryoları üretirken LLM hayal gücüne değil, gerçek API ve MCP çalışma izlerine dayanan deterministik kurallara güvenin.
• Maliyet ve Durum Optimizasyonu: Test ve eğitim ortamlarında her servis için sıfırdan veritabanı kurmak yerine, sadece durum değiştiren işlemleri simüle edin; okuma (read-only) işlemleri için kayıtlı yanıtları (mock/replay) kullanın.
• Doğrulanabilirlik (Assertion): Çok adımlı ajan iş akışlarını değerlendirirken yalnızca nihai metin çıktısına değil, geri alınabilir (rollback) durum kontrollerine ve çalıştırılabilir doğrulamalara odaklanın.