VeriHarness: Uzun Ufuklu Ajan Görevlerinde Çıktı Doğrulamasının Ölçeklenmesi

Uzun Ufuklu Görevlerde Doğrulama Problemi#

Büyük dil modeli (LLM) ajanları çok adımlı ve uzun ufuklu karmaşık görevleri üstlendikçe, ürettikleri nihai çıktıların doğrulanması kritik bir zorluk haline gelmektedir. Test anında referans yanıtlara veya önceden tanımlanmış değerlendirme kriterlerine (rubric) erişim bulunmadığında, mevcut temel modeli değiştirmeden doğrulama yeteneğini artırmak hayati bir ihtiyaçtır. Ajanı aynı görev üzerinde tekrar çalıştırarak çoklu örnekleme (repeated sampling) yapmak, birbirini tamamlayan farklı doğru iddialar içeren çalıştırmalar (rollout) üretse de, hangi iddialara güvenileceğini belirleyecek güvenilir bir eleme mekanizmasına ihtiyaç duyulmaktadır.

Temel Gözlem: Fikir Ayrılıkları ve Yanıltıcı Uzlaşı#

Çalışmanın en dikkat çekici bulgusu; farklı ajan çalıştırmaları arasındaki fikir ayrılıklarının çoğunlukla doğru alternatifleri açığa çıkarması, buna karşın fikir birliğinin (uzlaşının) örtük hataları ve kör noktaları gizleyebilmesidir. Yazılım dünyasında sıkça uygulanan "çoğunluk oylaması" yönteminin tek başına yetersiz kaldığını gösteren bu içgörü, VeriHarness çerçevesinin doğuşunu sağlamıştır.

VeriHarness Mimarisi: Ajan Tabanlı Doğrulayıcı#

VeriHarness, üretici olarak kullanılan temel LLM'i; bir çalışma ortamı (workspace), kanıt toplama araçları (evidence tools) ve yeniden kullanılabilir doğrulama becerileriyle donatarak otonom bir doğrulayıcı ajana dönüştürür. Mimari iki ana uzmanlaşmış bileşen üzerinden yürütülür:

Uyuşmazlık Çözücü (Disagreement Resolver): Çalıştırmalar arasındaki çelişen ve birbiriyle yarışan iddiaları, doğrudan sistem ve ortam kanıtlarına (environmental evidence) başvurarak titizlikle doğrular.
Uzlaşı Sorgulayıcı (Consensus Challenger): Tüm çalıştırmaların üzerinde anlaştığı ortak iddiaları kritik testlere tabi tutar ve gözden kaçırılmış veya eksik bırakılmış gereksinimleri araştırır.

Bu iki bileşenin ortaya koyduğu kanıtlar, en kaliteli çalıştırmanın seçilmesine ve nihai yazılım çıktısının kanıt temelli revizyon ile kusursuzlaştırılmasına rehberlik eder.

Kıyaslama Sonuçları ve Performans Kazanımları#

Beş farklı uzun ufuklu çalışma alanı kıyaslama testinde (benchmark) ve iki öncü model üzerinde yapılan kapsamlı testlerde VeriHarness, değerlendirilen tüm temel yöntemler arasında en yüksek seçim başarımını elde etmiştir:

Kanıt destekli revizyon mekanizması, tekil çalıştırma taban çizgisine kıyasla ortalama performansı Gemini 3.5 Flash üzerinde 6.2 puan, Claude Opus 4.8 üzerinde ise 6.4 puan artırmıştır.
Doğrulama becerilerinin başarısızlık geri bildirimlerinden (failure feedback) kendi kendine öğrenerek gelişebildiği kanıtlanmıştır.
Gelecekteki araştırmalara zemin hazırlamak adına, 100.000 doları aşan bir maliyetle üretilen ve beş kıyaslama ile iki modeli kapsayan yaklaşık 26.000 çalıştırmalık dev veri havuzu kamuoyuyla paylaşılmıştır.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

Karmaşık yapay zekâ iş akışları tasarlayan yazılım mühendisleri için VeriHarness; üretim seviyesinde ajan çıktısı doğrulamak için salt istatistiksel çoğunluğa güvenmek yerine, ortam araçlarıyla kanıt toplayan ve uyuşmazlıkları aktif olarak test eden ajan tabanlı doğrulama mekanizmalarının kurulmasının elzem olduğunu göstermektedir.

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.