AgSpec: Kodlama Ajanı İşlem Hatlarında Geri Çağırma Tabanlı Spekülatif Kod Çözümünün Sınırlarını Zorlamak

Giriş ve Mevcut Yöntemlerin Kısıtları

Geri çağırma tabanlı spekülatif kod çözme (Retrieval-based Speculative Decoding - SD), harici veya mevcut metin havuzlarından devam eden kısımları doğrudan kopyalayarak taslak token'lar üretir. Bu yaklaşım; kod bloklarını, terminal loglarını, hata çıktılarını ve önceki çözüm denemelerini sürekli olarak yeniden üreten yazılım geliştirme ajanları (coding agents) için son derece doğal ve uygun bir hızlandırma mekanizması sunar.

Buna karşın, mevcut geri çağırma tabanlı yöntemler ajan işlem hatlarında (agent pipelines) iki temel nedenden ötürü yetersiz kalmaktadır:

Korpus Uyumsuzluğu ve Veri Eksikliği: Yeniden kullanılabilecek metinlerin büyük bir kısmı mevcut korpuslarda yer almamakta veya hedef ajanın çıktı biçiminden (emission format) farklı bir yapıda saklanmaktadır.
Statik Taslak Uzunlukları: Geleneksel taslak oluşturucular, token kabul uzunluğunun farklı ajan rolleri arasında değiştiğini ve konuşma turları (turns) ilerledikçe kayma (drift) gösterdiğini tamamen göz ardı etmektedir.

AgSpec Mimarisi ve Çözüm Yaklaşımı

Bu darboğazları aşmak üzere önerilen AgSpec, kodlama ajanı işlem hatlarında eksik olan korpus yönetimini ve taslak uzunluğu politikalarını kapsamlı bir çerçevede sunmaktadır:

Çok Katmanlı Korpus Entegrasyonu: AgSpec; oturum (session), çalışma alanı (workspace) ve genel (global) olmak üzere üç ayrı korpustan eşzamanlı geri çağırma gerçekleştirir. Süregelen oturum yörüngesini (trajectory) bellekte tutar ve çalışma alanında açılan dosyaları doğrudan ajanın yayım biçiminde indeksler.
Uyarlanabilir Taslak Politikası: Her ajanın taslak uzunluğunu çevrimdışı profillenmiş bir üst sınırla (offline-profiled cap) sınırlar ve doğrulama aşamasından gelen geri bildirimlerle bu uzunluğu çalışma zamanında (online) dinamik olarak uyarlar.

Performans ve Kıyaslama Sonuçları

Depo düzeyinde (repository-level) çok-ajanlı iki büyük kodlama kıyaslama testinde AgSpec, test edilen senaryoların neredeyse tamamında beş farklı geri çağırma tabanlı taslak oluşturucuyu ve güçlü EAGLE-3 yöntemini geride bırakmıştır:

Toplu İşlem Boyutu 1 (Batch Size 1): Standart otoregresif kod çözmeye kıyasla üretim işlem hacmini (throughput) 4,37 kata kadar artırmıştır.
Toplu İşlem Boyutu 16 (Batch Size 16): Üretim hızında 4,76 kata kadar bir ivmelenme sağlamıştır.
Geniş Genellenebilirlik: AgSpec, bir kod deposu veya çok-ajanlı bir hat barındırmayan bağımsız senaryolarda da yüksek başarım sergileyerek kazanımlarının tüm kodlama ajanlarına genellenebildiğini kanıtlamıştır.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar

Çıkarım Maliyetlerinin Düşürülmesi: Kodlama ajanlarında ayrı bir taslak model (draft model) eğitmek yerine bağlamdan kopyalama yapmak, GPU bellek yükünü hafifleterek çıkarım maliyetini ve gecikmeyi doğrudan düşürür.
Biçimsel Bütünlük ve İndeksleme: Ajan bağlamında açılan kaynak dosyaların modelin çıktı şablonuyla tam uyumlu indekslenmesi, önbellek ıskalamalarını (cache miss) önleyerek spekülatif kabul oranını maksimize eder.
Geri Bildirim Döngüsü ile Dinamik Yönetim: Ajanın her turdaki başarı oranına göre taslak uzunluğunu daraltıp genişletmek, reddedilen spekülatif adımların yaratacağı hesaplama israfını engeller.

Orijinal makaleye buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.