---
title: "EvalResearchBench: Yapay Zeka Ajanları Öz-Gelişim İçin Kendi Geri Bildirimlerini Oluşturabilir mi?"
url: https://blog.edumints.com/evalresearchbench-yapay-zeka-ajanlari-oz-gelisim-icin-kendi-geri
category: "AI Araçları"
date: 2026-10-24T09:05:31.486Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2610.04184
---

# EvalResearchBench: Yapay Zeka Ajanları Öz-Gelişim İçin Kendi Geri Bildirimlerini Oluşturabilir mi?

## Özyinelemeli Öz-Gelişim ve Değerlendirme Darboğazı

**Özyinelemeli öz-gelişim (Recursive self-improvement - RSI)** süreçleri, ilerlemeyi ölçmek ve sonraki araştırma adımlarını yönlendirmek için doğrudan değerlendirme geri bildirimlerine dayanır. Ancak karmaşık kıyaslama (benchmark) testlerini tekrar tekrar çalıştırmak hem yüksek maliyetlidir hem de yazılım geliştirme iterasyonlarını ciddi şekilde yavaşlatır. İnsan uzmanlar bu maliyeti düşürmek için genellikle mevcut kıyaslama testlerinin alt kümelerini seçer veya daha kompakt test paketleri tasarlarlar. **EvalResearchBench (ERB)**, yapay zeka ajanlarının bu değerlendirme tasarım sürecini otomatikleştirip otomatikleştiremeyeceği sorusuna yanıt arayan, otonom değerlendirme araştırmalarına yönelik yeni bir kıyaslama çerçevesidir.

## Otonom "Araştırmacı" Ajanın Çalışma Mimarisi

Bu sistemde **araştırmacı (researcher)** olarak adlandırılan yapay zeka ajanına; hedef materyaller, geliştirme referansları, aday API'ler ile sabit zaman ve API bütçeleri verilir. Ajan; kodlama (coding), ortak çalışma (co-work) ve akıl yürütme (reasoning) alanları için çalıştırılabilir bir değerlendiriciyi dondurmadan (freeze) önce şu adımları izler:
- Görevleri seçer veya sıfırdan sentezler,
- Puanlayıcıları (graders) kodlayarak uygular,
- Pilot testlerden elde ettiği geri bildirimlerle bu yapıları revize eder.

Çalışma kapsamında **9 farklı araştırmacı ajan** ve **13 aday model** incelenmiş; dondurulmuş her bir değerlendirici, puan uyumu (score concordance) ve ikili karşılaştırma uyumu (pairwise agreement) metriklerinde **14 hedef kıyaslama testiyle** karşılaştırılmıştır.

## Temel Bulgular ve Performans Analizi

Deney sonuçları, otonom ajanların değerlendirme tasarımındaki mevcut kapasitesini ve sınırlarını net biçimde ortaya koymaktadır:
- **Sıralama Başarısı ve Üst Sınır:** En iyi değerlendiriciler, aday model çiftlerinin yaklaşık **%75'ini** hedef kıyaslama testleriyle aynı şekilde sıralamaktadır; ancak bu oran, hedeflerin kendi aralarındaki uyuşmazlıkların belirlediği **%91'lik tavanın** altındadır.
- **Genelleme Zorluğu:** Hiçbir araştırmacı ajan tüm metriklerde liderliği tek başına elinde tutamamaktadır. Ayrıca geliştirme hedeflerinde en iyi sonucu veren değerlendirici, araştırmacıdan gizlenen kapalı (sealed) hedeflerde en iyi performansı gösterememektedir.
- **İnsan Referansı ve Maliyet Etkinliği:** İnsanlar tarafından genel kullanıma açık görevlerden seçilerek tasarlanan örneklem güçlü bir temel (baseline) olmaya devam etmektedir. Dikkat çekici bir şekilde, kaydedilen **en düşük yürütme maliyetine** sahip değerlendirici, en yüksek ikili karşılaştırma uyumuna ulaşmıştır.
- **Yapısal Hatalar:** Ajanlar pilot geri bildirimler yoluyla görevleri ve puanlayıcıları onarabilse de, ürettikleri değerlendiriciler hâlâ yanıtları yarıda kesebilmekte (truncate), değerlendirme bütçesini tüketebilmekte veya yalnızca birkaç sorunun tüm alan puanını domine etmesine yol açabilmektedir.

## Yazılım Geliştirme ve Mühendislik İçin Pratik Çıkarımlar

Modern yapay zeka mühendisliğinde **AI Test Stratejileri**, **Golden Dataset Oluşturma** ve **LLM-as-a-Judge ve Braintrust** yaklaşımlarını kurgularken bu araştırmadan çıkarılabilecek kritik dersler şunlardır:
- **Düşük Maliyetli ve Odaklı Testler Tasarlayın:** En düşük yürütme maliyetli değerlendiricinin en yüksek uyumu yakalaması, CI/CD süreçlerinde devasa testler yerine küçük ama yüksek sinyal veren veri setlerinin çok daha verimli olduğunu kanıtlar.
- **Ezberlemeyi (Overfitting) Önlemek İçin Gizli Testler Kullanın:** Geliştirme hedeflerinde başarılı olan ajanların gizli hedeflerde düşüş yaşaması, değerlendirme sistemlerinin bile geliştirme verisine aşırı uyum sağlayabileceğini gösterir; üretim öncesi mutlaka kapalı doğrulama setleri kullanılmalıdır.
- **Otonom Puanlayıcıları Denetleyin:** Ajanların ürettiği testlerde görülen yanıt kesilmesi (truncation), bütçe aşımı ve puan dengesizliği gibi sorunlar, **Production'da Agent Güvenilirliği** için insan gözetiminin ve katı sınır kontrollerinin şart olduğunu ortaya koyar.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2610.04184)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/evalresearchbench-yapay-zeka-ajanlari-oz-gelisim-icin-kendi-geri