---
title: "Kaynakların Neden Çeliştiğini Bilmek İçin Bir LLM'e İhtiyacımız Var mı? RAG'da Bilgi Çelişkisi Sınıflandırması İçin Karar Modelleri"
url: https://blog.edumints.com/kaynaklarin-neden-celistigini-bilmek-icin-bir-llm-e-ihtiyacimiz-var-mi
category: "LLM"
date: 2026-11-04T08:07:33.484Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2610.36915
---

# Kaynakların Neden Çeliştiğini Bilmek İçin Bir LLM'e İhtiyacımız Var mı? RAG'da Bilgi Çelişkisi Sınıflandırması İçin Karar Modelleri

## Problem: RAG Sistemlerinde Kaynak Çelişkileri ve Maliyet

Bir sorgu için getirilen kaynaklar birbiriyle çeliştiğinde, doğru yanıt bu çelişkinin nedenine bağlıdır. Birden fazla geçerli yanıtı olan bir soru, tartışmalı bir konu, güncelliğini yitirmiş bilgi veya yanlış bir kaynak; her biri sistemden farklı bir davranış gerektirir. Cattan ve ark. (2025), üretici modele çelişki türünü söylemenin yanıt kalitesini yaklaşık **24 puan** artırdığını, ancak bu türü tahmin etmenin en gelişmiş büyük dil modelleri (LLM'ler) için bile zor olduğunu göstermiştir.

Bu çalışmada, metin üretmek yerine tek bir ileri besleme (forward pass) adımında sabit seçenekler üzerinden olasılıklar döndüren **tiplendirilmiş karar modellerinin (typed decision models)** bu sınıflandırmayı hızlı ve ucuz bir şekilde yapıp yapamayacağı incelenmektedir.

## Yöntem ve Karşılaştırmalı Performans Bulguları

**CONFLICTS** kıyaslama veri seti (benchmark) ve orijinal makalenin istemi (prompt) birebir kullanılarak, tek bir ticari çıkarım ağ geçidi (inference gateway) tarafından sunulan 7 farklı sağlayıcıya ait **11 karar modeli**, aynı girdiler üzerinde Gemini modelleriyle karşılaştırılmıştır:

- **Doğrudan Doğruluk ve Verimlilik:** Doğrudan sorulduğunda karar modelleri **%50,0 ile %67,0** arasında doğruluk oranına ulaşmaktadır. 11 modelden 10'u, referans makalenin modeli olan **Gemini 2.5 Flash (%61,3)** ile aynı veya daha yüksek performansı; **4 ila 39 kat daha düşük faturalandırılan maliyetle** (2 model tamamen ücretsizdir) ve **2,6 ila 6,0 kat daha düşük gecikme süresiyle (latency)** sunmaktadır.
- **Kademeli (Cascade) Mimari Avantajı:** Güncel **Gemini 3.8 Flash (%70,0)**, karar modellerinin 8'inden önemli ölçüde daha doğrudur. Ancak her karar modelinin en düşük güven skoruna sahip çeyreklik (%25) sorgu dilimini Gemini 3.8 Flash'a yönlendirmek, 11 modelin 8'inde istatistiksel olarak aynı başarıyı **%25 ila %37 maliyetle** sağlayan bir kademeli yapı oluşturur.
- **Uçtan Uca (End-to-End) Etki:** 11 karar modelinden 10'unun belirlediği çelişki türleriyle üretilen nihai yanıtlar, beklenen davranışı tam boyutlu bir LLM'in belirlediği türler kadar sık sergilemektedir.

## Tanısal Analizler ve Sınırlamalar

- **Taksonomi Parçalama:** Sınıflandırma taksonomisini evet/hayır sorularına bölmek her modelde doğruluğu düşürmekte ve bir model üzerinde yapılan iyileştirme diğerine aktarılamamaktadır.
- **Tarih ve Sıralama Hassasiyeti:** Önceden belirlenmiş tanısal testler, tarihlerin ölçülebilir bir rol oynamadığını ve kaynak sıralamasına olan duyarlılığın modeller arasında büyük farklılıklar gösterdiğini ortaya koymaktadır.
- **Yanlış Kaynak Tespiti:** Karar modelleri, veri setine kasıtlı olarak yerleştirilmiş yanlış bir kaynağı kesin etiket (hard label) olarak tespit etmede LLM'den daha az güvenilirdir; ancak ürettikleri olasılık değerleri yine de sahte kaynakları temiz kaynaklardan ayırabilmektedir.

## Yazılım Geliştirme ve Pratik Çıkarımlar

Üretim ortamında **RAG mimarileri** geliştiren mühendisler için bu bulgular doğrudan uygulanabilir optimizasyon stratejileri sunar (İlgili Modüller: **Modeller: Hangisi, Ne Zaman?**, **Ölçeklendirme ve Optimizasyon**):

- **Her Sınıflandırma Görevi İçin LLM Kullanmayın:** Metin üretimi gerektirmeyen yönlendirme ve çelişki sınıflandırma adımlarında karar modelleri kullanarak gecikmeyi 6 kata, maliyeti ise 39 kata kadar düşürebilirsiniz.
- **Güven Skoruna Dayalı Cascade Kurun:** Karar modellerinin döndürdüğü olasılık dağılımlarını bir eşik (threshold) olarak kullanın. Yalnızca modelin emin olamadığı (%25'lik dilim) karmaşık sorguları büyük LLM'e aktararak bütçenizi koruyun.
- **Basit İstemleri Tercih Edin:** Karmaşık karar ağaçları veya çok adımlı evet/hayır zincirleri kurmak yerine, tek adımlı doğrudan sınıflandırma istemlerini koruyun ve olasılık skorlarını sahte kaynak filtrelemede doğrudan değerlendirin.

Araştırmanın kodlarına, istemlerine ve tüm model çıktılarına https://github.com/Parv17k/decision-models-conflict-typing adresinden ulaşılabilir.

[](https://huggingface.co/papers/2610.36915)

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2610.36915)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/kaynaklarin-neden-celistigini-bilmek-icin-bir-llm-e-ihtiyacimiz-var-mi