Mycelium: Kaynak, Tipoloji ve Ayrıntı Düzeyleri Üzerinden Halüsinasyon Tespiti Üzerine Bir Meta-Çalışma

Giriş: LLM Değerlendirmesinde Halüsinasyon Tespiti ve Benchmark Çıkmazı#

Büyük dil modellerini (LLM) değerlendirmek ve üretim ortamlarına (production) güvenle dağıtmak için halüsinasyon tespiti giderek daha kritik bir hale gelmektedir. Ancak yazılım geliştiriciler ve yapay zeka mühendisleri için önemli bir sorun mevcuttur: Mevcut tespit yöntemleri, halüsinasyonu birbirinden çok farklı şekillerde tanımlayan ve ölçen kıyaslama (benchmark) veri setleri üzerinden karşılaştırılmaktadır. Bu durum, raporlanan başarı skorlarının farklı çalışma ortamlarında ve uygulama senaryolarında yorumlanmasını zorlaştırır.

Benchmark Koşullu Bir Ölçüm Problemi: 3 Temel Eksen#

Mycelium çalışması, halüsinasyon tespitini "benchmark koşullu bir ölçüm problemi" olarak ele alır ve mevcut kıyaslama sistemlerini üç ana eksende organize eder:

• Kaynak (Provenance): Model çıktılarının ve kanıt koşullarının nasıl elde edildiğini tanımlar. Yazılım geliştirme açısından bu, modelinizin gerçek kullanıcı verileriyle mi yoksa sentetik test verileriyle mi sınandığını ve dış bilgi kaynaklarının (örneğin RAG mimarisindeki dokümanların) sürece nasıl dahil edildiğini belirler.
• Tipoloji (Typology): Benchmark etiketleri tarafından temsil edilen olgusallık (factuality) ve sadakat (faithfulness) hatalarını yakalar. Pratikte bir mühendisin, modelin genel dünya bilgisiyle mi çeliştiğini (olgusallık) yoksa kendisine verilen bağlama mı sadık kalmadığını (sadakat) ayırt etmesi, doğru doğrulama aracını seçmesi için şarttır.
• Ayrıntı Düzeyi (Granularity): Halüsinasyonların hangi birimde etiketlendiğini, tahmin edildiğini ve değerlendirildiğini belirtir. Tespit işlemi tüm yanıt düzeyinde mi, cümle düzeyinde mi yoksa belirli bir metin parçası (span) düzeyinde mi yapılıyor? Üretimdeki bir uygulamada hata ayıklama (debugging) yaparken bu granülarite doğrudan geri bildirim kalitesini etkiler.

Tahmin Görevinin Şekillenmesi ve Span Coverage F1 Metriği#

Bu üç eksenli çerçeve kullanılarak; benchmark oluşturma, veri etiketleme ve değerlendirme tercihlerinin altta yatan tahmin görevini nasıl şekillendirdiği analiz edilmektedir. Araştırma, dedektör mekanizmalarını ve varsayımlarını performanslarının ölçüldüğü ortamlarla ilişkilendirir.

Ayrıca makalede, etiketleme sınırlarındaki (annotation boundaries) küçük farklılıkların bile raporlanan sonuçları önemli ölçüde etkileyebildiği metin parçası (span) düzeyinde değerlendirme süreçleri incelenmektedir. Etiketleme sınırlarındaki bu belirsizlikleri aşmak adına, kapsama tabanlı (containment-based) tamamlayıcı bir metrik olarak Span Coverage F1 önerilmektedir.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

Bu analiz, halüsinasyon dedektör skorlarının gerçekte neyi ölçtüğünü netleştirir, benchmarklar arası doğrudan karşılaştırmaların sınırlarını vurgular ve farklı koşullar arasında genelleme yeteneğinin daha açık biçimde değerlendirilmesini teşvik eder.

Mühendislik ekipleri için temel çıkarımlar şunlardır:

• Tek bir skora güvenmeyin: Açık kaynaklı veya ticari bir halüsinasyon tespit modelini kendi sisteminize entegre etmeden önce, test edildiği benchmark'ın kaynak, tipoloji ve ayrıntı düzeyinin sizin kullanım senaryonuzla (use-case) örtüştüğünden emin olun.
• Metriklerinizi çeşitlendirin: Özellikle metin içi spesifik hataları yakalamaya çalışırken katı sınır eşleşmeleri yerine Span Coverage F1 gibi kapsayıcılığı ölçen esnek yaklaşımları değerlendirme boru hattınıza (evaluation pipeline) ekleyin.
• Kendi bağlamınızda test edin: Farklı benchmark koşullarındaki genelleme kısıtlamaları nedeniyle, üretim öncesi kendi "Golden Dataset"iniz ile doğrulama yapmayı standart hale getirin.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Arize Phoenix: LLM Kalite Değerlendirme modülüne göz atın.