Opera: Uzun Vadeli Kodlama Ajanları İçin Sözel Eleştirmen Mimarisi

Giriş ve Problem Tanımı#

Yazılım geliştirme süreçlerinde uzun soluklu (long-horizon) görevleri yürüten yapay zekâ kodlama ajanları, zamanında ve doğru müdahalelere ihtiyaç duyar. Ancak sağlanan geri bildirim ajanın devam eden çalışmasını yanlış değerlendirdiğinde veya kök sorunu çözemediğinde etkisiz, hatta zararlı olabilmektedir. Mevcut eleştirmen (critic) modelleri çoğunlukla yalnızca ajanın geçmiş adımlarını değerlendirip anlık geri bildirim üretmeye odaklanmakta; geri bildirim verildikten sonra ajanın sorunu fiilen çözüp çözmediğini nadiren takip etmektedir.

Opera Çerçevesi ve Temel Çalışma Mekanizmaları#

Bu kısıtlamaları aşmak için geliştirilen Opera, her düzeltmeyi teşhis edilen problem çözülene kadar takip edilen kalıcı bir not (persistent note) olarak ele alan sözel bir eleştirmen çerçevesidir. Opera sistemi dört ana mekanizma üzerine kuruludur:

Periyodik ve Olaya Dayalı Tetikleyiciler: Kodlama sürecinin ne zaman inceleneceğine periyodik aralıklarla veya kritik olay tetikleyicileriyle karar verir.
Tiplendirilmiş Operatörlerle Teşhis: Hataları ve darboğazları yapılandırılmış, tiplendirilmiş operatörler aracılığıyla kesin biçimde tespit eder.
Kanıta Dayalı Geri Bildirim Denetimi: Üretilen geri bildirimi ajana iletmeden önce görünür kanıtlar ve ortam çıktıları üzerinden doğrular.
Sonraki Eylemlerin Takibi: Ajanın sonraki adımlarını izleyerek yalnızca yüzeysel uyumu (compliance) gerçek ve kalıcı çözümden (resolution) ayırt eder.

Test Zamanı Başarım ve Kıyaslama Sonuçları#

Opera, test zamanı (inference) eleştirmeni olarak dört farklı politika modeli üzerinde değerlendirilmiş ve eleştirmensiz ajanlara kıyasla çözüm oranlarında belirgin artışlar sağlamıştır:

Terminal-Bench 2.1: Çözüm oranında 12.4 yüzde puanına varan artış,
SWE-Bench Pro (Alt Küme): Çözüm oranında 15.0 yüzde puanına varan artış,
DeepSWE v1.1: Çözüm oranında 8.9 yüzde puanına varan artış elde edilmiştir.

Opera, her üç kıyaslama testinde de güçlü eleştirmen taban çizgilerini geride bırakarak en yüksek ortalama çözüm oranına ulaşmış; ajanın kendi kendini eleştirdiği senaryolarda dahi politika modellerinin performansını artırmıştır.

Eğitim Verisi Üretimi ve Fine-Tuning Kazanımları#

Opera'nın etkisi yalnızca çıkarım aşamasıyla sınırlı değildir; Opera rehberliğinde toplanan rollout'lar yaklaşık politika-içi (on-policy) eğitim verisi sunar:

Model Gelişimi: Bu verilerle fine-tune edilen Qwen3.5-9B, test anında hiçbir eleştirmen kullanılmasa bile SWE-Bench Pro depolarındaki çözüm oranını 10.2 yüzde puan artırarak daha güçlü modellerin rollout verileriyle yapılan ince ayarın başarısını yakalamıştır.
Harness Dayanıklılığı: Openhands test ortamından Terminus-2'ye geçildiğinde diğer modeller ciddi performans kaybı yaşarken, Opera ile eğitilen model kararlılığını korumuştur.

Yazılım Geliştirme ve Öğrenme Çıkarımları#

Kalıcı Durum Takibi: Ajan mimarilerinde anlık prompt düzeltmeleri yerine, sorun çözülene kadar doğrulaması süren durum takibi (state tracking) uygulanmalıdır.
Geri Bildirim Doğrulaması: Ajanlara geri bildirim iletilmeden önce ortam kanıtlarının denetlenmesi, halüsinasyon ve yanlış yönlendirmeleri engeller.

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.