WebArena-Pro: Ses ve Video Destekli Web Ajanı Testi
Kaynak: Hugging Face Papers
İçindekiler 4 başlık
Tarayıcı üzerinde çalışan yapay zekâ ajanları geliştirdiğinde en büyük darboğazlardan biri tutarlı test ortamı bulmaktır. Canlı web siteleri üzerinde koşturduğun testlerde sayfalar ve veriler çalıştırmalar arasında değiştiği için tekrarlanabilirlik kaybolur. Mevcut tekrarlanabilir benchmark'lar ise az sayıda yazılım kategorisinden seçilmiş birkaç uygulamayla sınırlı kalıp yalnızca metin ve görsel girdilere odaklanıyor. WebArena-Pro, bu boşluğu doldurarak ses ve video içeriklerini de test sürecinin merkezine koyan yeni bir değerlendirme standardı sunuyor.
İzole Ortamda 20 Uygulama ve 300 Görev#
WebArena-Pro, altı farklı alan kategorisine yayılan ve kendi sunucularında barındırılan (self-hosted) 20 web uygulaması üzerindeki 300 görevden oluşuyor. Bu uygulamalar birbirinden farklı arayüz kurallarını, iş akışlarını ve veri modellerini barındırıyor. Görevlerin her biri özel bir etiketleyici arayüzü üzerinden yazılıp LLM destekli bir ön elemeden geçiriliyor, yayınlanmadan önce de insanlar tarafından doğrulanıyor.
Her görev birbirinden izole şekilde çalışıyor. Bu mimari, farklı ajan yapılandırmalarını aynı koşullarda paralel ve tekrarlanabilir biçimde değerlendirmeni sağlıyor. İnsan kürasyonuyla hazırlanan tekrarlanabilir web ajanı testleri arasında şu ana kadarki en geniş uygulama kapsamını ve en kapsamlı çoklu ortam (multimodal) desteğini bu yapı sunuyor.
Ses ve Videoyu Doğrudan Gözlemlemek#
Büyük dil ve görsel-dil modelleriyle (VLM) güçlendirilen web ajanları, durum bilgisi tutan (stateful) iş akışlarında ve heterojen uygulamalarda giderek daha fazla görev alıyor. Ancak önceki kıyaslama araçları, web görevlerinin içine gömülü ses ve video içeriklerini ajanların anlayıp kullanabildiğini anlamlı biçimde ölçmüyordu.
WebArena-Pro, metin ve görüntünün yanında sesi ve videoyu da temel gözlem alanları olarak ele alıyor. Ajanlara bu medya türlerinin her birinden bilgi çıkarmak için özel eylemler tanımlanmış. Böylece geliştirdiğin ajanın sayfada yer alan bir videoyu veya ses kaydını işleyip doğru adımı atıp atamadığını net olarak görebiliyorsun.
Hangi Ajan ve Model Ne Kadar Başarılı?#
Benchmark üzerinde yapılan değerlendirmeler, ajan çerçeveleri ile temel modellerin kombinasyonları arasında belirgin farklar olduğunu ortaya koyuyor. Test edilen sistemler arasındaki başarı oranları şöyle sıralanıyor:
- Codex (GPT 6.1 Sol ile): %62,3 başarı oranıyla zirveyi paylaşıyor.
- Claude Code (Claude Opus 5.5 ile): %62,3 skoruna ulaşarak en yüksek performansı gösteren diğer yapılandırma oluyor.
- OpenCode (Kimi 3.1 Pro ile): %60,7 başarı oranıyla ilk ikiyi yakından takip ediyor.
- GenericAgent (Gemini 3.1 Pro omni ile): %30,3 seviyesinde kalıyor.
- GenericAgent (Gemma4 31B ile): %30,3 başarı oranı elde ediyor.
Bu sonuçlar seçtiğin model kadar onu sarmalayan ajan mimarisinin de tarayıcı görevlerinde belirleyici olduğunu gösteriyor. En güçlü GenericAgent kurulumları %30,3'te kalırken, özelleşmiş ajan araçları %60 bandını aşabiliyor.
Kendi Ajan Projelerin İçin Çıkarımlar#
Tarayıcı otomasyonu veya çok adımlı web ajanı tasarlıyorsan, sistemini değerlendirirken yalnızca DOM ağacını okuyan veya ekran görüntüsü alan testlerle yetinmemelisin. Gerçek dünyadaki web işleri farklı veri modellerini ve çoklu ortam içeriklerini bir arada barındırır.
Projen için model ve ajan çerçevesi seçerken WebArena-Pro sonuçlarını referans alabilirsin:
- Karmaşık ve durum bilgisi gerektiren tarayıcı işlerinde genel amaçlı basit döngüler yerine Codex, Claude Code veya OpenCode gibi yüksek skor üreten ajan yapılarını inceleyebilirsin.
- Ajanına tanımladığın araç setine (action space), sayfa içindeki ses ve video kaynaklarından veri çıkaracak özel eylemler ekleyebilirsin.
- Kendi test süreçlerini tasarlarken canlı sitelerin değişkenliğinden kaçınmak için izole ve paralel çalışabilen kendi barındırdığın (self-hosted) uygulama ortamlarını tercih edebilirsin. En iyi kombinasyonların bile %62,3'te kalması, heterojen web görevlerinde hâlâ çözülmesi gereken büyük bir mühendislik alanı olduğunu gösteriyor.
Bu konuyu derinlemesine öğrenmek istersen: AI Test Stratejileri modülüne göz at.
Kaynak ve atıf
Bu yazı, Hugging Face Papers üzerinde yayımlanan içerikten yararlanılarak Edumints tarafından yapay zekâ desteğiyle Türkçe hazırlandı. Ayrıntılar ve yazarların kendi anlatımı için orijinaline bakabilirsin:
- huggingface.co/papers/2611.17955