LEASH: Bilgisayar Kullanan Ajanlar İçin Belirsizlik Duyarlı Zayıftan Güçlüye Yükseltme ve Gözetim Mekanizması

Problem: Uzun Soluklu Ajan Görevlerinde Maliyet ve Başarı Dengesi#

Bilgisayar kullanan ajanlar (computer-use agents), gün geçtikçe daha uzun soluklu ve karmaşık görevleri üstlenmektedir. Ancak bu süreçte her adımda en gelişmiş (frontier) modelleri çalıştırmak oldukça maliyetliyken, yalnızca küçük ve açık ağırlıklı (open-weight) bir model kullanmak çoğu zaman başarısızlıkla sonuçlanır. Zayıftan güçlüye yükseltme (weak-to-strong escalation) yaklaşımı, varsayılan olarak zayıf bir ajanın görev yaptığı ve kontrolü yalnızca ihtiyaç duyulduğunda güçlü bir ajana devrettiği etkili bir orta yol sunar.

Buradaki temel zorluk, kontrolün ne zaman devredileceğine karar vermektir; bu da her adımda kontrol edilebilecek kadar düşük maliyetli bir belirsizlik sinyali gerektirir. Üstelik görev devredildikten sonra bile güçlü ajan yolunu kaybedebilir ve genellikle kapalı kutu (black-box) bir API üzerinden sunulan bu güçlü modeller, izlenebilecek içsel durum verilerini dışarıya açmaz.

Çözüm: LEASH Çerçevesi ve Üç Katmanlı Mimari#

Bu sorunu çözmek için geliştirilen LEASH, ek bir eğitim gerektirmeyen (training-free) bir çerçevedir. Yalnızca zayıf ajanın örtük belirsizliği (latent uncertainty) ihtiyaç sinyali verdiğinde güçlü ajanı devreye sokar ve sonrasında da onu sıkı bir gözetim altında tutar. LEASH üç ana katmandan oluşur:

• (1) Erken yönlendirme için başlangıç görev belirsizliği: Görevin henüz başında zayıf modelin yeterli olup olmayacağını değerlendirerek erken yönlendirme sağlar.
• (2) Çalışma zamanı yükseltmesi için adım düzeyinde belirsizlik: Görev yürütülürken her adımda anlık risk analizi yaparak kontrolün güçlü modele devredilip devredilmeyeceğine karar verir.
• (3) Görev devrinden sonra güçlü kapalı kutu ajanın sürekli gözetimi için bir gölge gözlemci (shadow observer): Güçlü ajan kontrolü devraldıktan sonra bile arka planda süreci izleyerek ajanın yoldan çıkmasını engeller.

Örtük Belirsizlik (Latent Uncertainty) Nasıl Çalışır?#

LEASH, her üç katman için de temel yakıt olarak örtük belirsizliği kullanır. Sistem, zayıf modelin gizli durumlarını (hidden states), geçmişteki başarılı ve başarısız yörüngelerinden elde edilen durumlarla karşılaştırır. Geçmişteki başarısızlıklara daha çok benzeyen bir iç durum, daha yüksek bir belirsizlik sinyali anlamına gelir. Zayıf ajan çalışırken, belirsizlik tahmincisi eylem üretimi sırasında halihazırda üretilmiş olan aktivasyonları yeniden kullanır; böylece fazladan bir ileri besleme geçişine (forward pass) veya özel bir izleyici model eğitimine ihtiyaç duymaz.

Deneysel Sonuçlar ve Geliştiriciler İçin Pratik Çıkarımlar#

OSWorld üzerinde dört güncel model omurgasıyla yapılan deneyler, LEASH'in tek başına çalışan zayıf ajanlara kıyasla tutarlı bir şekilde gelişim sağladığını ve eşleştirilmiş yükseltme oranlarında rastgele yükseltmeyi 6.55 ile 11.94 puan arasında geride bıraktığını göstermektedir. Qwen3.5-35B-A3B ile birlikte kullanıldığında LEASH, görev başına 0.4117 dolar maliyetle %73.66 görev başarısına ulaşır; bu da sürekli açık tutulan Claude Opus 5 (%72.90) performansını yakalarken çıkarım (inference) maliyetini %19.2 oranında düşürmek demektir.

Yazılım geliştirme ve üretimde ajan güvenilirliği açısından bu mimari bize önemli pratik dersler sunar:

• Sıfır Ekstra Maliyetle İzleme: Açık ağırlıklı modellerin ürettiği içsel aktivasyonları yeniden kullanarak, ek gecikme (latency) veya hesaplama maliyeti yaratmadan güçlü bir erken uyarı sistemi kurabilirsiniz.
• Kapalı Kutu API'leri Denetleme: Dış sağlayıcılardan alınan güçlü modellerin iç yapısını göremeseniz bile, yerel küçük modelinizi bir "gölge gözlemci" olarak konumlandırarak üretim ortamında ajan güvenilirliğini ve hata toleransını artırabilirsiniz.
• Akıllı Model Yönlendirme: Hangi modelin ne zaman kullanılacağını geçmiş yörünge verilerine dayandırarak, en pahalı modelleri sürekli çalıştırmak yerine bütçe dostu ve yüksek başarımlı hibrit sistemler tasarlayabilirsiniz.