RAG Geri Çağırma Kalitesini %60'tan %93'e Çıkarmak: Sürekli Değerlendirme Döngüsü Kurmak

0. Acı Nokta (The Pain Point)#

RAG sistemlerinde parametreleri deneme-yanılma yoluyla değiştirmek kör atış yapmaya benzer. Neyin, ne kadar iyileştiğini bilmek için hislere değil, ölçülebilir bir değerlendirme sistemine ihtiyaç vardır.

Geliştirici Çıkarımı: Metrik olmadan yapılan optimizasyon teknik bir kumardır; her geliştirmeden önce mutlaka ölçüm sistemi tasarlanmalıdır.

1. Değerlendirmenin Çözmesi Gereken Sorunlar#

Üç temel gerilim mevcuttur: optimizasyon için referans noktası olmaması, sorunların kaynağının belirsizliği ve yeni verilerle sistemin gerilemesi.

Geliştirici Çıkarımı: Hataları kategorize etmek ve katmanlı teşhis koymak, hata ayıklama süresini ciddi ölçüde azaltır.

2. Altın Test Seti (Golden Test Set)#

Değerlendirmenin temeli, insan tarafından etiketlenmiş sabit bir "Altın Test Seti"dir. Sentetik (örn. GPT-4 ile üretilen) veriler hataları maskeleyebilir.

Geliştirici Çıkarımı: LLM çıktılarını doğrulamak için sistemi başka bir LLM yerine insan doğrulamalı verilerle test etmelisiniz.

3. Üç Katmanlı Metrikler#

Kalite (doğruluk), Verimlilik (gecikme süreleri) ve İş Katmanı (kullanıcı memnuniyeti) olarak üç seviyeli metrik kullanılmalıdır.

Geliştirici Çıkarımı: Performans sadece doğruluk değildir; gecikme ve iş çıktılarıyla çok boyutlu değerlendirilmelidir.

4. Değerlendirme Odaklı Üç Tur İterasyon#

RAG kalitesi için sırasıyla semantik parçalama (%38'e düşüş), geri çağırma kalibrasyonu (%25'e düşüş) ve prompt kuralları iyileştirildi (%7'ye düşüş).

Geliştirici Çıkarımı: Karmaşık sistemleri optimize ederken adımları ayrıştırın; parçalama, çağırma ve prompt katmanlarını bağımsız test edin.

5. Sezgisel Olmayan Bir Bulgu#

Semantik parçalamada chunk boyutu küçüldü (512'den 280 token'a). Sezgisel beklentinin aksine, doğru yerlerden bölündüğü için hem maliyet azaldı hem doğruluk arttı.

Geliştirici Çıkarımı: Sezgilere körü körüne güvenmeyin; bazen veri boyutunu küçültmek daha yüksek doğruluk ve verimlilik sağlar.

6. Regresyon Kapısı (Regression Gate)#

Üretime alınacak her değişiklik altın test setinden geçmelidir. Test seti büyüdükçe hata toleransı eşiği sıkılaştırılır (%5'ten %2'ye).

Geliştirici Çıkarımı: CI/CD süreçlerinize test otomasyonu gibi regresyon kapıları eklemek, canlı sistemlerin bozulmasını önler.

7. Maliyet Optimizasyonu#

Metrikler yüksek API maliyetlerini gösterdiğinde, sık sorgulanan kurallar için Redis önbelleği kullanıldı ve chunk optimizasyonu ile token harcaması %30 azaltıldı.

Geliştirici Çıkarımı: Performans iyileştirmesi çoğu zaman maliyet tasarrufunu da beraberinde getirir.

8. Sürekli İterasyon Döngüsü#

Değerlendirme tek seferlik bir iş değil; hata sinyallerinin toplanması, test setinin güncellenmesi ve regresyon kontrolü içeren sürekli canlı bir döngüdür.

Geliştirici Çıkarımı: Yazılım yaşam döngüsü gibi, RAG sistemleri de sürekli geri bildirimle yaşayan birer kod tabanıdır.

9. Kapanış ve Genel Çıkarım#

Altın test seti, katmanlı metrikler ve regresyon kapısı sayesinde RAG optimizasyonu bir sezgiden çıkıp deterministik mühendisliğe dönüşür.

Geliştirici Çıkarımı: LLM tabanlı uygulamalarda sürdürülebilirlik, ancak deterministik mühendislik yaklaşımlarıyla mümkündür.

Orijinal makaleye buradan ulaşabilirsiniz.