---
title: "Güven Skorlaması İçin LLM Kullanmak Kötü Bir Fikirdir"
url: https://blog.edumints.com/guven-skorlamasi-icin-llm-kullanmak-kotu-bir-fikirdir
category: "AI Araçları"
date: 2026-10-22T07:07:25.101Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hacker News"
source_url: https://rumple.github.io/blog/2026/10/20/asking-llm-for-confidence.html
---

# Güven Skorlaması İçin LLM Kullanmak Kötü Bir Fikirdir

Büyük Dil Modellerine (LLM) dayalı ajanlar kod yazmak, makaleleri özetlemek, seyahat planlamak ve form doldurmak gibi pek çok görevi yerine getirebilir ya da en azından öyle görünebilirler. Bir LLM'den bir olasılık veya **güven skoru (confidence score)** istediğinizde size bir sayı verecektir. Birçok ajan tasarımcısı, sistemlerinde güven skorları üretmek için LLM'leri bu şekilde kullanmaktadır. Ancak asıl sorun, üretilen bu sayıya güvenmek için hiçbir geçerli neden olmamasıdır. Bu yazıda, bir güven skoru üretmek için neden LLM'lere güvenemeyeceğimizi ve bunun yazılım geliştirme süreçlerindeki karşılığını inceleyeceğiz.

## Güven Ne Anlama Gelir?

Bir LLM'in neden güvenilir bir güven skoru veremeyeceğini anlamadan önce, güven kavramının gerçekte ne anlama geldiğini kavramamız gerekir. Örneğin, "Yarın yağmur yağacağından %70 eminim" diyen bir hava durumu tahmincisini düşünün. Tahmincinin bu güveni kullandığı bilgilere dayanır:

- **Geleceğe dair güncel veriler:** Hava basıncı, nem, rüzgar ve radardaki bulutlar gibi yarına ait anlık göstergeler.
- **Geçmiş veriler:** Yılların hava durumu kayıtları ve bugünküne benzer günlerin ardından ne sıklıkla yağmur yağdığına dair tarihsel istatistikler.

Teoride bu bilgileri bir güven skoruna dönüştürmek kişisel bir görüş değil, **matematiksel bir hesaplamadır**. Geçmiş verilerle başlar ve yarına dair yeni bilgilerle bu hesabı güncellersiniz. İki tahminci tamamen aynı bilgilere sahipse ve hesaplama kuralını doğru uygularsa, tam olarak aynı güven skoruna ulaşmalıdırlar. Tahminciler arasındaki uyuşmazlık, farklı bilgilere sahip olmalarından veya kuralı yanlış uygulamalarından kaynaklanır.

Eğer tahminciye iki hafta sonraki bir gün sorulursa, o güne dair henüz güncel bir verisi yoktur. Elindeki tek şey geçmiş verilerdir. Yılın o döneminde günlerin %30'unda yağmur yağıyorsa, söyleyebileceği en iyi şey "%30 eminim" olacaktır. Gün yaklaştıkça ve bilgi arttıkça güven skoru %100'e veya %0'a doğru hareket eder.

## Bir Güven Skorunun Doğruluğunu Nasıl Ölçeriz?

Tek bir gün, tahmincinin %70'lik skorunun doğru olup olmadığını gösteremez; çünkü yağmur ya yağmıştır ya da yağmamıştır. Güven skorunun doğruluğunu ancak **çok sayıda gün üzerinden** kontrol edebiliriz. Tahmincinin "%70 eminim" dediği tüm günleri ele alalım:

- Eğer bu günlerin yaklaşık %70'inde yağmur yağdıysa, tahmincinin %70 skoru **doğrudur**.
- Sadece %40'ında yağmur yağdıysa, tahminci **aşırı özgüvenlidir (overconfident)**.
- %90'ında yağmur yağdıysa, tahminci **düşük özgüvenlidir (underconfident)**.

Bir tahmincinin bir yıllık kaydının şu şekilde olduğunu varsayalım:

- **%10 güven dediği 120 gün:** 13 gün yağmur yağdı (Gerçekleşen oran: **%11**)
- **%30 güven dediği 90 gün:** 26 gün yağmur yağdı (Gerçekleşen oran: **%29**)
- **%70 güven dediği 80 gün:** 57 gün yağmur yağdı (Gerçekleşen oran: **%71**)
- **%90 güven dediği 75 gün:** 67 gün yağmur yağdı (Gerçekleşen oran: **%89**)

Her seviyede gerçekleşen yağmur oranı, tahmincinin söylediği skora yakındır. Güven skoru gerçekleşen oranla bu şekilde eşleştiğinde buna **kalibre edilmiş (calibrated)** denir. Ancak tek başına kalibrasyon yeterli değildir; yarının hava durumunu tamamen göz ardı edip her zaman mevsim ortalaması olan %30 diyen bir tahminci de teknik olarak kalibre sayılır fakat faydalı bir tahmin üretmez.

## Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar

- **Sözel Skorlara Güvenmeyin:** Production ortamında ajan geliştirirken (örneğin **Production'da Agent Güvenilirliği** ve **LLM-as-a-Judge** süreçlerinde), modele doğrudan "Cevabından yüzde kaç eminsin?" diye sormak gerçek bir olasılık hesabı vermez; sadece istatistiksel olarak kulağa hoş gelen bir metin üretir.
- **Amaca Uygun Değerlendirme Yapın:** Modelin ürettiği rastgele güven sayılarına dayanarak iş akışı yönlendirmek yerine, **Golden Dataset**'ler oluşturarak sistemin gerçek başarı oranlarını geçmiş veriler üzerinden ampirik olarak ölçün ve kalibrasyonu doğrulayın.

---

**Kaynak:** Hacker News (https://rumple.github.io/blog/2026/10/20/asking-llm-for-confidence.html)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/guven-skorlamasi-icin-llm-kullanmak-kotu-bir-fikirdir