Enoki: Çok Seviyeli ve Verimli Halüsinasyon Tespiti

LLM Sistemlerinde Halüsinasyon ve Doğruluk Sorunu

Büyük Dil Modellerinin (LLM) finans, sağlık ve hukuk gibi kritik ve yüksek riskli (high-stakes) alanlarda üretime alınmasındaki en temel zorluk, üretilen çıktıların olgusal doğruluğunu (factuality) garanti altına almaktır. Günümüzdeki halüsinasyon tespit mekanizmaları genel olarak tek bir ayrıntı düzeyinde çalışmaktadır:

İddia Seviyesi (Claim-level) Yöntemler: Yorumlanabilir ve denetlenebilir olgusal bilgi birimleri sunar; ancak model çıktısındaki hatalı ifadenin tam olarak hangi metin aralığında yer aldığını tespit edemez.
Aralık Seviyesi (Span-level) Yöntemler: Desteklenmeyen veya uydurma metin parçalarını doğrudan işaretleyip yerelleştirir; fakat bu hataların altında yatan anlamsal ve ilişkisel bağlamı açıklamakta yetersiz kalır.

Bu iki farklı yaklaşımı tek bir mimaride birleştirmek ise geleneksel yöntemlerle oldukça maliyetlidir. Yoğun LLM kullanan ardışık boru hatları çok sayıda ayrıştırma (decomposition) ve doğrulama çağrısı gerektirmekte, modüler sistemler ise iddia ile metin aralığı arasında ek bir hizalama (claim-to-span alignment) katmanına ihtiyaç duymaktadır.

Enoki Çözümü ve Çalışma Mekanizması

Bu verimsizliği ortadan kaldırmak amacıyla çok seviyeli halüsinasyon tespiti için Açık Bilgi Çıkarımı (Open Information Extraction - OpenIE) tabanlı Enoki çerçevesi önerilmektedir. Enoki, bütünleşik çalışma prensibiyle şu adımları izler:

Metne Bağlı Olgu Çıkarımı: Üretilen metne çıpalanmış ilişkisel olgular doğrudan kaynak ifadelerden ayrıştırılır.
Kanıt Tabanlı Doğrulama: Çıkarılan bu ilişkisel olgular, referans kanıt belgelerine karşı sistematik biçimde doğrulanır.
Aralıklara Geri Yansıtma: Doğrulanamayan veya kanıtlarla çelişen olgular, üretilen metindeki halüsinasyonlu aralıklara (spans) doğrudan geri yansıtılır.

Bu ortak temsil biçimi, harici ve ek bir hizalama sürecine gereksinim duymadan hem iddia düzeyinde doğrulamayı hem de aralık düzeyinde hassas yerelleştirmeyi eş zamanlı olarak mümkün kılar.

Esnek Çıkarım Rejimleri ve Başarım

Enoki; doğruluk, hız ve çıkarım (inference) maliyeti arasındaki dengeyi kurabilmek adına ortak bir arayüz üzerinden üç farklı çıkarım rejimini destekler:

LLM Tabanlı Rejim: Karmaşık ve derin bağlamsal ilişkilerde en yüksek anlamsal çıkarım başarısını sunar.
Encoder Tabanlı Rejim: Düşük gecikme süresi ve yüksek verimlilik sağlayarak üretim yükünü hafifletir.
Kural Tabanlı Rejim: Belirli dilbilgisel ve yapısal kalıplar için sıfır model maliyetiyle deterministik sonuçlar üretir.

Gerçekleştirilen deneysel çalışmalar, Enoki'nin güçlü iddia seviyesi sistemlerle rekabet ederken çok daha az donanım ve hesaplama kaynağı harcadığını göstermektedir. Sistem, özellikle ince taneli metin aralığı ve varlık (entity) seviyesindeki yerelleştirmede üstün bir başarım elde etmektedir. Araştırmacılar ayrıca, hizalanmış iddia doğrulaması ile aralık yerelleştirme etiketlerini içeren çift ayrıntı düzeyli EnokiQA veri setini de araştırmacıların kullanımına sunmuştur.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar

Daha Akıllı RAG ve Guardrail Mimarileri: Halüsinasyon tespit edildiğinde tüm yanıtı çöpe atmak yerine, yalnızca hatalı metin aralığı maskelenebilir, yeniden üretilebilir veya kullanıcıya uyarı ile sunulabilir.
Maliyet ve Gecikme Optimizasyonu: Observability zincirinde her doğrulama için pahalı LLM çağrıları yapmak yerine encoder veya kural tabanlı çıkarım rejimleri tercih edilerek üretim maliyetleri dramatik ölçüde düşürülebilir.
Hassas Hata Ayıklama ve Kalite İzleme: Varlık ve aralık düzeyindeki nokta atışı tespitler, bilgi tabanındaki eksikleri ve geri çağırma (retrieval) açıklarını hızlıca izlemeyi kolaylaştırır.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.00581)

Bu konuyu derinlemesine öğrenmek isterseniz: Arize Phoenix: LLM Kalite Değerlendirme modülüne göz atın.