Bir LLM'e Dikkatli Olmasını Söylemek Neden İşe Yaramaz: Ceza Prompt'larında %0 Çekimser Kalma Oranı

Büyük Dil Modelleri (LLM) ile çalışan her yazılım geliştirici şu komutun bir varyasyonunu mutlaka denemiştir: "Soruyu yanıtla. Eğer tamamen emin değilsen 'Bilmiyorum' de. Tahmin yürütme. Doğruluk kritik önem taşıyor." Bu ifadeleri sistem komutlarına (system prompts) yazarız, ajan iş akışlarına (agent workflows) ekleriz ve kalın markdown etiketleriyle vurgularız. Talimatı yeterince sert ve net yaparsak, kalibre edilmiş bir modelin duraksayıp bilgisizliğini kabul edeceğini varsayarız. Ancak bu yöntem işe yaramıyor.

Ollama kullanılarak izole ve deterministik bir yerel ortamda açık ağırlıklı modeller (gemma2:2b, gemma3:4b ve gemma4:e4b) üzerinde gerçekleştirilen kapsamlı araştırma, teorik indirgemeleri, on kontrollü deney bataryasını (E1'den E10'a) ve 384 çok turlu çekişmeli çıkarımı (adversarial inference) kapsıyor. Temel bulgu oldukça çarpıcı: ceza prompt'ları (penalty prompts) tamamen etkisizdir.

Yanlış cevaplar ağır asimetrik maliyetlerle açıkça cezalandırıldığında bile —doğru cevaba yalnızca 1 puan verirken hatalara 99 puanlık ceza ($t=0.99$) uygulandığında— modeller tam olarak 0.000 ($p=1.000$) çekimser kalma oranı sergiledi. Asla "Bilmiyorum" demediler. Bunun yerine, neredeyse tam bir özgüvenle blöf yaparak sahte tarihler, kurgusal başkentler ve uydurma atom numaralarıyla halüsinasyon gördüler.

Otoregresif dil modellerinde halüsinasyon bir mühendislik kazası ya da modeli ikna ederek çözebileceğiniz davranışsal bir hata değildir. Good-Turing kayıp kütlesi (missing mass), simetrik pekiştirmeli öğrenme ödülleri ve açgözlü (greedy) argmax darboğazının yönlendirdiği matematiksel bir kaçınılmazlıktır. Üretim ortamındaki ajan mimarilerinde bu sorunu çözmek için salt prompt mühendisliğinden uzaklaşıp, açık kaynaklı ag_ops projesinin deterministik yönetişim felsefesine dayanan ve zorunlu halüsinasyonları sıfıra indiren 15 milisaniye altı fiziksel devre kesiciler (circuit breakers) inşa etmek gerekiyor.

1. Prompt Kalibrasyonu Efsanesi (Deney E1)#

2024 yılında Adam Tauman Kalai ve Santosh Vempala çığır açıcı teorik bir sonuç yayınladı: Kalibre Edilmiş Dil Modelleri Halüsinasyon Görmek Zorundadır (Calibrated Language Models Must Hallucinate). Simetrik 0-1 değerlendirme ölçütleri altında, rastgele tahmin yürütmenin bilgisizliği kabul etmeye kıyasla kesin olarak baskın geldiğini gösterdiler.

Modellerin prompt'lar aracılığıyla kalibrasyona zorlanıp zorlanamayacağını test etmek için Kalai'nin tam asimetrik puanlama kuralı kullanıldı:

• Doğru cevap: $+1$ puan.
• Çekimser kalma ("Bilmiyorum" / IDK): $0$ puan.
• Yanlış cevap: $-\frac{t}{1-t}$ puan.
• $t=0.50$ değerinde bir hata $-1$ puana mal olur.
• $t=0.75$ değerinde bir hata $-3$ puana mal olur.
• $t=0.99$ değerinde bir hata $-99$ puana mal olur (yalnızca $%99$'dan fazla eminseniz yanıt vermelisiniz).

Bu deney kapsamında yüksek frekanslı (Head) katmandan başlayarak üç farklı frekans bandına ayrılmış 120 olgusal soru değerlendirildi.

Geliştiriciler İçin Pratik Çıkarımlar#

• Temel Prompt Teknikleri Sınırını Bilin: Sistem prompt'larına "emin değilsen uydurma" yazmak üretim ortamında güvenlik sağlamaz.
• Production'da Agent Güvenilirliği: Ajan iş akışlarında halüsinasyonları engellemek için metinsel uyarılara değil, deterministik doğrulama katmanlarına ve devre kesici (circuit breaker) mimarilere güvenin.