AGO AI Kalite Kapısı: RAG Sistemlerinde Kanıta Dayalı Sürüm Kararları

Retrieval-Augmented Generation (RAG) mimarisini kurumsal ölçekte devreye alan yazılım ve yapay zekâ ekipleri, her geliştirme döngüsünde kritik bir operasyonel kararla yüzleşir: Yeni sistem sürümünü canlıya almak (promote), revizyona göndermek (revise) ya da engellemek (block). Ancak üretim ortamında kanıtlar çoğu zaman eksiktir ve değerlendirme metrikleri yanılma payı yüksek LLM hakemlerine (LLM-as-a-judge) dayanır. Endüstriyel RAG projelerinde kullanılan AGO AI Quality Gate (AGO), bu karar sürecini "önce kanıt" yaklaşımıyla yöneten olasılıksal bir kalite kapısı çerçevesi sunar.

AGO Mimarisinin Dört Temel Bileşeni#

AGO çerçevesi, RAG sürümlerinin üretim güvenliğini sağlamak için dört ana bileşeni bir araya getirir:

• Dört Durumlu Karar Modeli: Eksik veri durumlarını ve hakem hatalarını göz ardı etmek yerine, bunları sistemin doğal ve açık birer karar çıktısı olarak ele alır.
• Katmanlı Puanlama: Deterministik kontrolleri, yerel güvenlik filtrelerini (guardrails) ve yapılandırılmış LLM değerlendirmelerini kademeli bir mimaride birleştirir.
• Tabakalı Beta-Binom Kalite Kapısı: Sürümler arasındaki performans düşüşü (regresyon) riskini tek bir eşik değeri yerine olasılıksal yöntemlerle modeller.
• Zorunlu Meta-Değerlendirme Protokolü: LLM hakeminin değerlendirme kararlarını etkilemesine izin vermeden önce doğruluğunu ve yetkinliğini test ederek onaylar.

RAGBench Bulguları ve Hakem Güvenilirliği#

Müşteri verilerinin gizliliği nedeniyle hakem katmanı, 12 farklı veri setinde 100 bin etiketli RAG izi içeren açık kaynaklı RAGBench üzerinde test edilmiştir. Eşit tabakalı test örneklerinde ($N=1200$): Düşük maliyetli gpt-4.1-nano, biçimsel olarak kusursuz protokol çıktıları üretmesine rağmen bağlama uymayan (non-adherent) yanıtları yakalamada yazı-tura atmaktan farksız kalmıştır (AUROC 0.603 [0.570, 0.634]). Buna karşılık gpt-4o 0.783 [0.756, 0.807] seviyesine ulaşsa da etki alanına (domain) göre performansı 0.62 ile 0.88 arasında büyük dalgalanmalar sergilemiştir. Sabit tohumlu (fixed-seed) regresyon testlerinde, karar sınıfı AGO profili güvensiz sürümleri canlıya alma oranını %22.2 - %35.1 aralığına düşürürken, naif kalite kapılarında bu hata oranı %29.3 - %41.8 seviyesinde kalmıştır.

Yazılım Mühendisleri İçin Pratik Çıkarımlar#

Bu bulgular, üretim seviyesinde LLM sistemleri geliştiren mühendisler için kritik dersler sunmaktadır. Öncelikle, bir hakem modelinin JSON şemasına kusursuz uyması mantıksal olarak doğru karar verdiği anlamına gelmez; sözdizimsel başarı semantik güvenilirlikle karıştırılmamalıdır. İkincisi, CI/CD süreçlerinde "doğruluk > %80" gibi tekil nokta tahminlerine (point estimates) dayalı eşiklerle sürüm kararı verilmemelidir. Regresyon riski, beta-binom gibi olasılıksal dağılımlarla modellenmelidir. Son olarak, LLM hakemlerinin genel geçer bir doğruluğu yoktur; her yeni kullanım senaryosunda hakem modellerinin meta-değerlendirme ile kalibre edilmesi kurumsal riskleri minimize etmenin ön koşuludur.

---

Bu konuyu derinlemesine öğrenmek isterseniz: LLM-as-a-Judge ve Braintrust modülüne göz atın.