TRACE: Verimli GUI Ajanları İçin Kanıt Sıralamalı ve Yörüngeye Dayanıklı Kabul Çerçevesi

Giriş ve Problem: Görsel Ajanlarda Bellek Patlaması ve KV Önbellek Çıkmazı

Grafiksel Kullanıcı Arayüzü (GUI) ajanları, görev adımlarını yürüttükçe arka arkaya yüksek çözünürlüklü ekran görüntüleri biriktirir. Çok adımlı bu yörüngeler (trajectories), modelin bağlam penceresini tüketerek hem çıkarım gecikmesini (inference latency) hem de GPU bellek kullanımını katlanarak artırır. Eğitim gerektirmeyen görsel token budama teknikleri maliyeti düşürmek için önerilse de, modern mimarilerde kritik bir kısıt ortaya çıkar: Önbellek (KV Cache) yeniden kullanımı.

Görsel token'lar bir kez elenip bağlamdan çıkarıldığında, ilgili görsel kanıtlar yeniden kodlama (re-encoding) yapılmadan geri getirilemez. Bu nedenle budama işlemi, geri dönüşü olmayan bir "kabul kararı" (admission decision) haline gelir. Bir ajanın, dar bütçeler altında çalışırken hem gelecekteki bilinmeyen adımlar için faydalı kanıtları saklaması hem de ekrandaki tıklanabilir veya işlem yapılabilir alanların uzamsal kapsamını koruması gerekir.

TRACE: Yörüngeye Dayanıklı ve Kapsam Duyarlı Mimari

Bu darboğazı çözmek amacıyla, eğitim gerektirmeyen TRACE (Trajectory-robust Admission and Coverage-aware Evidence ordering) çerçevesi önerilmektedir. Çözüm, birbiriyle bütünleşik çalışan şu temel adımlardan oluşur:

Çok Kriterli Kanıt Sıralaması: Sorgudan bağımsız arayüz düzeni öncülü (layout-derived interaction prior), kullanıcı talimatıyla ilgi düzeyi ve öznitelik yeniliği birleştirilir. Görsel kanıtlar hem gelecekteki potansiyel işlevselliğe hem de çeşitliliğe göre önceliklendirilir.
Uzamsal Kapsam Rezervasyonu: Token bütçesinin belirli bir payı ekranın geneline dağıtılmış yerel görsel token'lara ayrılır; böylece hiyerarşik sıralama bozulmadan eksik uzamsal kapsam onarılır.
İç İçe (Nested) Token Sıralaması: Bu mekanizmalar bir araya gelerek iç içe bir token düzeni oluşturur. Elde tutulan görsel kanıtlar farklı bütçeler arasında monoton biçimde küçülürken, yörünge boyunca yeniden kullanılabilir kalır.
Monoton KV Önbellek Daraltması: Süresi dolan eski kareler (retired frames) aşamalı olarak kompakt bir oturum durumuna daraltılır. Böylece tekrarlayan görsel kodlama veya her adımda yeniden budama yapma zorunluluğu ortadan kalkar.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar

Altı farklı GUI kıyaslama testinde ve çeşitli modellerde başarısı kanıtlanan bu yaklaşım, üretim ortamında otonom ajan geliştirenler için değerli dersler barındırır:

KV Cache Dostu Optimizasyon: Gerçek dünya ajan mimarilerinde yalnızca anlık token tasarrufuna değil, önbelleğin korunmasına ve mükerrer görsel kodlamanın önlenmesine odaklanılmalıdır.
Geri Alınamaz Kararları Hiyerarşik Yönetmek: Bilgi kaybını önlemek adına katı eşik değerleri yerine, gelecekteki olası görev adımlarını ve uzamsal düzeni gözeten iç içe sıralama yapıları kurulmalıdır.
Eğitim Gerektirmeyen Çözümler: Model ağırlıklarına dokunmadan (training-free), sadece çıkarım aşamasında token filtreleme ve KV daraltma teknikleri uygulayarak latency ve GPU maliyeti radikal biçimde düşürülebilir.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.10297)

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.