Erişim Destekli Büyük Dil Modellerinde Arama Durumu Farkındalığı İçin Öz-Değerlendirmeli Pekiştirmeli Öğrenme (SARL)

Arama Ajanlarında Durum Farkındalığı Sorunu#

Arama ajanlarındaki (search agents) son gelişmeler, büyük dil modellerinin (LLM) dış bilgileri erişip sentezleyerek karmaşık görevleri çözmesine olanak tanıdı. Ancak mevcut arama ajanları genellikle arama durumu farkındalığından (search-state awareness) yoksundur. Yani model, hangi bilginin halihazırda elde edildiğini ve hangi bilgilerin hâlâ eksik olduğunu tam olarak kavrayamaz. Bu eksiklik iki kritik soruna yol açar:

• Halüsinasyonlu akıl yürütme: Modelin eksik bilgiyi kendi varsayımlarıyla doldurarak hatalı çıkarımlar yapması.
• Erken sonlandırılan arama: Gerekli tüm kanıtlar toplanmadan arama döngüsünün vakitsizce bitirilmesi.

Çözüm: Öz-Değerlendirmeli Pekiştirmeli Öğrenme (SARL)#

Bu sınırlamayı aşmak için geliştirilen Öz-Değerlendirmeli Pekiştirmeli Öğrenme (Self-Assessment Reinforcement Learning - SARL) çerçevesi, modellerin eğitim sırasında kendi arama durumlarını tanımalarını ve arama davranışlarını buna göre iyileştirmelerini sağlar. Üstelik bu yaklaşım, test (inference) aşamasında ek bir değerlendirme katmanına veya maliyete ihtiyaç duymaz.

SARL bu başarıyı ikili ödül tasarımı (dual reward design) ile gerçekleştirir:

• Her bir öz-değerlendirmenin düzeltici etkisini ödüllendirerek arama kalitesini artırır.
• Öz-değerlendirmeye aşırı bağımlılığı cezalandırarak gereksiz adımların önüne geçer ve hem etkili hem de verimli arama yörüngelerini (search trajectories) teşvik eder.

Performans Kazanımları ve Eğitim Kararlılığı#

SARL, yapılan deneylerde ve karmaşık kıyaslamalarda dikkat çekici sonuçlar ortaya koymaktadır:

• En güçlü temel modele (baseline) kıyasla %24,3 oranında bağıl iyileşme sağlar.
• Çok adımlı akıl yürütme (multi-hop reasoning) testlerinde ortalama %35,9, derin araştırma (deep research) kıyaslamalarında ise %27,9 performans artışı sunar.
• Çıkarım zamanında ek bir iskele (inference-time scaffolding) kullanmayan bağımsız bir pekiştirmeli öğrenme çerçevesi olmasına rağmen, yardımcı denetim veya çoklu ajan koordinasyonuna dayalı yöntemleri geride bırakır.
• Mevcut yöntemlerin sürekli olarak bozulduğu uzun arama ufuklarında (extended search horizons) bile eğitim kararlılığını korur ve görev karmaşıklığı arttıkça sürdürülebilir kazanımlar sağlar.

Yazılım Geliştirme ve Mühendislik İçin Pratik Çıkarımlar#

Modern AI mühendisliğinde Tool Calling ve Multi-Step Agent'lar ile Production'da Agent Güvenilirliği süreçlerini tasarlarken SARL yaklaşımından şu pratik dersleri çıkarabiliriz:

• Çıkarım Maliyetlerini Düşürme: Çoklu ajan (multi-agent) doğrulama döngüleri veya çalışma zamanındaki ek kontrol mekanizmaları gecikmeyi (latency) ve token maliyetini artırır. Durum farkındalığını doğrudan modelin eğitim sürecine (veya sistem tasarımına) dahil etmek, üretim ortamında çok daha hafif ve hızlı ajanlar çalıştırmayı sağlar.
• Verimli Arama Döngüleri: Çok adımlı RAG ve araştırma ajanlarında sonsuz döngüleri veya erken durmaları önlemek için yalnızca "doğru sonuca ulaşmayı" değil, "gereksiz sorgulardan kaçınmayı" da dengeleyen metrikler kurgulanmalıdır.
• Uzun Ufuklu Görevlerde Dayanıklılık: Karmaşık yazılım geliştirme veya derin araştırma görevlerinde adım sayısı arttıkça bağlam kirliliği oluşur. Ajanın her adımda "Elimde ne var, ne eksik?" muhasebesini içselleştirmesi, uzun soluklu iş akışlarında kararlılığı korumanın anahtarıdır.