IdeaAMBIG: Araştırma Fikirlerinin Koda Dönüştürülmesindeki Kritik Boşlukların Ölçülmesi

Bilimsel bir araştırma fikri yenilikçi, tutarlı ve mantıklı olabilir; ancak önerilen yöntem, geliştiricilerin veya yapay zekâ kodlama ajanlarının bu yöntemi aslına sadık bir şekilde koda dökebilmesi için yeterli ayrıntıya sahip olmayabilir. IdeaAMBIG, araştırma şartnamelerinin kodlamaya hazırlık (codification readiness) durumunu inceleyen ve metodolojik eksiklikleri değerlendiren kapsamlı bir benchmark çalışması sunmaktadır. Kodlamaya hazırlık; yetkin bir yazılımcının veya otonom kodlama ajanının, temelsiz varsayımlarda bulunmadan hedeflenen sistemi inşa edebilmesi için gereken yeterli bilginin sağlanması olarak tanımlanır.

Araştırmacılar makalelerden, kod tabanlarından, GitHub sorun (issue) dizilerinden ve yeniden üretilebilirlik bulgularından yararlanarak kanıta dayalı şartnameler ve çözüm yolları oluşturmuştur. Bu doğrultuda hazırlanan IdeaAMBIG, toplamda 660 kanıta dayalı örnekten oluşur:

163 Gerçek Dünya Boşluğu: Yeniden üretilebilirlik raporlarından ve açık kaynak GitHub sorunlarından derlenen gerçek geliştirme aksaklıkları.
497 Kontrollü Sentetik Boşluk: Kodlamaya hazır referans şartnamelere bilinçli olarak enjekte edilen eksiklikler.

Değerlendirilen Üç Temel Yetenek

IdeaAMBIG, büyük dil modellerinin (LLM) şartname analizi ve eksiklik giderme performansını üç temel boyutta test eder:

1. Kodlamaya Hazırlık Değerlendirmesi (Codification-Readiness Assessment): Verilen şartnamenin ek varsayımlar gerektirmeden kodlanmaya uygun olup olmadığının belirlenmesi.
2. Kusur Konumlandırma (Defect Localization): Modele yalnızca araştırma şartnamesi verilerek eksik veya belirsiz metodolojik parçanın yerinin tespit edilmesi.
3. Netleştirme Eylemi Üretimi (Clarification Action Generation): Şartnameye ek olarak kusurun yeri de modele verildiğinde, eksikliği giderecek doğru açıklama ve çözüm adımlarının üretilmesi.

Model Performansları ve Temel Bulgular

13 farklı LLM üzerinde yapılan kapsamlı testler çarpıcı sonuçlar ortaya koymuştur:

Kusur konumlandırmada en iyi model, gerçek dünya örneklerinde yalnızca %9.6 Makro Kusur Geri Kazanım Oranı (Macro Defect Recovery Rate) elde edebilmiştir.
Buna karşın, kusurlu nokta modele doğrudan işaret edildiğinde aynı model, %80.6 Makro Netleştirme Eylemi Başarı Oranına (Macro Clarification Action Success Rate) ulaşmıştır.
Bir kâhin (oracle) çalışmasında, şartnameye altın çözüm (gold resolution) sağlandığında sonraki aşamadaki kodlamaya hazırlık oranı %14'ten %98'e sıçramıştır.

Tüm modeller genelinde ana darboğaz kusurun nerede olduğunu bulmaktır; kusur gösterildiğinde modeller güçlü bir netleştirme performansı sergilemektedir.

Yazılım Geliştirme Açısından Pratik Çıkarımlar

Bu bulgular, üretim ortamında otonom kodlama ajanları (coding agents) çalıştıran yazılım ekipleri için kritik pratik dersler içerir:

Şartname Mühendisliği: Ajanların hata yapmasının birincil sebebi eksik gereksinimleri fark edememeleridir. Şartnameler kodlama ajanına verilmeden önce otomatik linter veya doğrulama araçlarıyla denetlenmelidir.
İki Aşamalı Mimari: Tek bir ajanın hem kusuru bulup hem çözmesini beklemek yerine, eksiklikleri tespit etmeye odaklanan özel analiz ajanları ile netleştirme yapan ajanlar ayrıştırılmalıdır.
Geri Bildirim Döngüleri: Ajanlara "eksik var mı?" diye sormak yerine, olası belirsiz noktaları doğrudan işaret eden interaktif netleştirme protokolleri entegre edilmelidir.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.10539)

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.