---
title: "Büyük Dil Modelleri Ne Bildiğini Bilmiyor: Finansal Geriye Dönük Testler İçin Zamansal Öz-Bilgi Kıyaslaması"
url: https://blog.edumints.com/buyuk-dil-modelleri-ne-bildigini-bilmiyor-finansal-geriye-donuk
category: "LLM"
date: 2026-11-09T09:05:59.433Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2611.06808
---

# Büyük Dil Modelleri Ne Bildiğini Bilmiyor: Finansal Geriye Dönük Testler İçin Zamansal Öz-Bilgi Kıyaslaması

## Finansal Geriye Dönük Testlerde Veri Sızıntısı Sorunu

Büyük dil modellerinin (LLM) finansal geriye dönük testleri (backtesting), yalnızca modelin tahmin etmesi istenen sonuçları önceden bilmemesi durumunda anlamlıdır. Geliştiriciler ve uygulayıcılar bu duruma karşı genellikle şu üç önlemden birine güvenirler:
- Model sağlayıcısının belirttiği bilgi kesim tarihine (knowledge cutoff) güvenmek,
- Modele doğrudan ne bildiğini sormak,
- Modele geçmiş bir tarihteymiş gibi yanıt vermesi için talimat (prompt) vermek.

Ancak yazılım geliştirme ve yapay zeka test süreçlerinde bu geleneksel önlemlerin gerçekten güvenilir olup olmadığını doğrulamak kritik bir mühendislik problemidir.

## FinDendro Kıyaslama Veri Seti ve Metodoloji

Bu güvenlik önlemlerinin test edilmesi amacıyla geliştirilen **FinDendro**, 1999'dan 2026'ya kadar uzanan 2.226 tarihli ABD finansal gerçeğini içeren kapsamlı bir kıyaslama (benchmark) veri setidir. Bu veri seti şu temel alanları kapsar:
- Aylık makroekonomik seriler,
- Ay sonu hisse senedi fiyatları,
- ABD Merkez Bankası (Federal Reserve) kararları.

Her bir finansal gerçek, modeli sınamak için dört farklı istem (prompt) üretir:
- Doğrudan bir değer sorusu,
- Bildirilen bir tarih olmaksızın her aday değeri "bilme" veya "tahmin etme" iddiasıyla eşleştiren Hatırlama (Recall) ve Tahmin (Predict) soruları,
- Geçmişe ait bildirilmiş bir tarih içeren Tahmin (Predict) sorusu.

Süreklilik ve baskın sonuçlar için yapılan kontroller, şans eseri doğruluk oranını 0,27 civarında tutmaktadır.

## Araştırma Bulguları: Öz-Beyan ve Gerçek Bilgi Çelişkisi

Araştırma sonuçları, önde gelen (frontier) modellerin çoğunda öz-beyanların (self-reports) modelin gerçek bilgisini olduğundan az gösterdiğini ortaya koymaktadır:
- **GPT-5**, kontrol edilen gerçeklerin **%76'sını** doğru yanıtlamasına rağmen yalnızca **%38'ini** bildiğini iddia etmektedir.
- Model, "bilmiyorum" dediği gerçeklerin **%61'ini** doğru yanıtlamaktadır.
- Bilgi iddiaları, ölçülen bilgi sınırının ötesinde yedi çeyreğe (21 ay) kadar devam edebilmektedir.
- İstemde geçmişe ait bir tarih belirtmek, önceden bilme iddialarının çoğunu ortadan kaldırırken modelin doğruluk oranını değiştirmemektedir.

## Geliştiriciler İçin Pratik Çıkarımlar ve Değerlendirme

Bu bulgular, bir modelin eğitim penceresi içinde kalan geriye dönük testlerin; modelin kendi beyanı, sistem talimatları veya sağlayıcının belirttiği kesim tarihi ile **sızıntısız (leak-free)** olarak onaylanamayacağını kanıtlamaktadır.

**Yapay Zeka Mühendisliği ve Test Stratejileri Açısından Çıkarımlar:**
- **Prompt Mühendisliği Sınırları:** Modele "2021 yılındaymışsın gibi davran" şeklinde rol veya tarih kısıtlaması vermek, modelin ağırlıklarında kodlanmış geçmiş bilgiyi kullanmasını engellemez; yalnızca modelin bu bilgiyi bildiğini inkâr etmesine yol açar.
- **Davranışsal Ölçüm Zorunluluğu:** Üretim ortamına alınacak tahminleme sistemlerinde ve değerlendirme veri setlerinde (Golden Dataset), sağlayıcı beyanları yerine zamansal bilgi sınırlarının davranışsal olarak ölçülmesi şarttır.
- **Doğru Test Dönemi Seçimi:** **FinDendro**, geriye dönük test dönemlerini modelin kanıtlanmış olgusal bilgisine dayanarak seçmek için somut bir kıyaslama ve prosedür sunmaktadır. Geliştiriciler, model değerlendirme (evaluation) aşamasında mutlaka kesim sonrası taze veriler veya davranışsal doğrulama testleri kullanmalıdır.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2611.06808)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/buyuk-dil-modelleri-ne-bildigini-bilmiyor-finansal-geriye-donuk