Ajanlar Ne Zaman Yavaşlar? Token Başına Elo Analizi ile LLM Ajanlarının Test Zamanı Stratejileri

Giriş ve Test Zamanı Hesaplama Dinamikleri#

Büyük dil modeli (LLM) tabanlı otonom ajanlar; sundukları çözümleri adım adım revize ederken, harici araçları (tools) kullanırken, alternatif yaklaşımları keşfederken ve işlemi ne zaman sonlandıracaklarına karar verirken test anı hesaplama kaynaklarını (test-time compute) dinamik ve uyarlanabilir biçimde tahsis eder. Ancak bu adaptif davranış, ajan performansının ayrılan hesaplama bütçesiyle tam olarak nasıl ölçeklendiğini ölçmeyi ve modellemeyi güçleştirmektedir. Bu zorluğu aşmak amacıyla, uzun görev yörüngeleri boyunca ara çözümlere sürekli puanlar vererek ilerlemenin adım adım izlenmesine olanak tanıyan açık uçlu görevler incelenmektedir.

Token Başına Elo (Elo-per-token) Analizi ve Temel Bulgular#

Çalışmada, her token bütçesinde elde edilen en başarılı çözümü takip eden ve farklı puan ölçeklerine sahip görevlerdeki sıralamaları birleştirmek için Bradley-Terry modelini temel alan Token Başına Elo (Elo-per-token) analizi önerilmektedir. Araştırmanın temel yapı taşları ve bulguları şunlardır:

• Kapsamlı Test Kurgusu: Yöntem, 100 milyon tokene kadar çıkan oturumlarda dört genel amaçlı ajan ve dört açık uçlu kıyaslama testi üzerinde ve kontrollü tekil görev müdahalelerinde geri bildirim odaklı üç LLM optimizasyon çatısı ile değerlendirilmiştir.
• Bağımsız Örnekleme Referansı: Bağımsız örnekleme (independent sampling), Elo puanının hesaplama gücünün logaritmasıyla doğrusal biçimde büyüdüğü teorik bir referans eğrisi sunar.
• Azalan Marjinal Getiriler: Ajanlar başlangıç aşamasında tokenleri Elo puanına bağımsız örnekleme referansından daha hızlı dönüştürür; ancak ilerleyen süreçte marjinal kazanımlar hızla azalarak referans çizgisinin altına düşer.
• İnsan Uzmanlarla Ayrışma: AtCoder Heuristic Contest görevlerinde en güçlü insan yarışmacıların süre boyunca süper-doğrusal (superlinear) gelişim gösterdiği gözlemlenmiştir. Bu bulgu, insanlarda sürekli öğrenmenin (continual learning) varlığını ve ajanlar yavaşladıktan sonra dahi ulaşılabilecek ciddi bir gelişim payı (headroom) bulunduğunu kanıtlamaktadır.
• Ölçekleme Kırılma Noktası ve Paralelleştirme: Marjinal Elo kazanımının bağımsız örnekleme referansıyla eşitlendiği oturum bütçesi "ölçekleme kırılma noktası" (scaling inflection point) olarak tanımlanmıştır. FrontierCS Polyomino Packing probleminde 100 milyon tokenlik bütçe tek bir uzun oturumda harcandığında +264 Elo artışı elde edilirken, aynı bütçe 10 kısa paralel oturuma bölündüğünde +355 Elo kazanımı sağlanmıştır.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

• Uzun Oturumlar Yerine Paralel Yürütme: Tek bir ajanın aynı bağlamda uzun süre çalıştırılması azalan getiriye yol açtığından, üretim mimarilerinde token bütçesini paralel oturumlara bölmek sistem başarımını belirgin biçimde artırır.
• Erken Durdurma ve Bütçe Kontrolü: Ajan iş akışlarına, marjinal kazanımların bağımsız örnekleme referansının altına düştüğü kırılma noktalarını tespit eden akıllı erken durdurma (early stopping) mekanizmaları entegre edilmelidir.

Orijinal makaleye buradan ulaşabilirsiniz.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.