Bir Yapay Zeka Sistemi Kendi Kararlarını Sorgulamak Üzere Tasarlandığında Ne Olur?

Kendi kararını doğrulamanın somut bir maliyeti olduğunda yapay zeka sistemleri nasıl davranır? Bu çalışma, Kaggle Benchmarking Challenge kapsamında geliştirilen bir kıyaslamayı ve modellerin kendi kararlarını sorgulamasını sağlamak için denenen üç aşamalı yöntemi inceliyor:

Modele karşıt kanıt aramasını söylemek,
Hipotez sonuçlarını sınayabileceği çalıştırılabilir bir test mekanizması sunmak,
Bu sonuçları modelin karar yoluna otomatik olarak dahil etmek.

Şaşırtıcı olan sonuç şuydu: Bu yaklaşımların hiçbiri nihai kararda tutarlı ve güvenilir bir ortalama iyileşme sağlamadı.

Neyi Kıyasladım?#

"Karar Koşullu Yanlışlama" (Decision-Conditioned Falsification) deneyinde model, üç gizli mekanizmanın bulunduğu bir ortamda işlem yapar. Olası mekanizmaları bilse de hangisinin devrede olduğunu bilmez. Modelin önünde iki seçenek vardır:

Şimdi Harekete Geç (ACT)
Test Et → Maliyet Öde → Kanıtı Gözlemle → Karar Ver

Buradaki temel amaç modelin kendisinden ne kadar şüphe duyduğunu değil, net operasyonel faydayı ödüllendirmektir: Kontrol etmenin bedeli 5 puansa, harekete geçmeden önce daha fazlasını bilmek gerçekten 5 puana değer mi? Bu kurgu, genelde birbirine karıştırılan şu üç kavramı ayrıştırır:

Bilgi kazanımı (Information gain): Ne kadar öğrendim?
Yanlışlama (Falsification): Kanıt hipotezime ters düştü mü?
Karar değeri (Decision value): Bunu öğrenmek daha iyi karar vermemi sağladı mı?

Benchmark Nasıl Çalışır?#

Ortamda üç deterministik gizli mekanizma (W0, W1, W2) yer alır. Ajan, ilkel işlemlerden deneyler türetebilir. 6 karar konfigürasyonu ve 3 gizli dünya ile model başına 18 bağımsız bölüm test edilir. Bu kurgu şu senaryoları oluşturur:

Test etmenin optimal olduğu durumlar,
Testin aşırı maliyetli olduğu durumlar,
Sağlam (robust) eylemin tercih edildiği durumlar,
En olası dünyaya göre hareket etmenin tercih edildiği durumlar,
Sıralı bilgi toplamanın haklı çıktığı durumlar.

Test Edilen Modeller#

Kıyaslamada farklı model ailelerini temsil eden dört koşu yer almıştır:

GPT-5.4 nano
Gemini 3.5 Flash
Claude Haiku 4.5
Gemini 3.7 Flash

Bulgular ve Yazılım Geliştirme Açısından Çıkarımlar#

Elde edilen deneysel sonuçlar şu şekildedir:

Karşıt kanıt aramasını söylemek: Belirgin bir ortalama fayda sağlamadı (−1.45 puan).
Çalıştırılabilir hipotez tahmini sunmak: Model, desteklenen 360 bölüm içinde bu yeteneği yalnızca 1 kez kullandı.
Sonuçları karar yoluna otomatik yerleştirmek: Güvenilir bir performans artışı üretmedi.

Yazılım Geliştiriciler İçin Pratik Çıkarım: Ajan mimarilerine özyansıma (self-reflection) veya doğrulama araçları eklemek, modellerin bu araçları maliyet-fayda dengesini gözeterek rasyonel kullanacağını garanti etmez. Bir kontrol adımının eklenmesi her zaman token maliyeti ve gecikme yaratır, ancak her zaman karar değeri üretmez. Üretim ortamlarında ajanın serbestçe kendini sorgulamasına güvenmek yerine, doğrulamayı iş kurallarıyla sınırlayan deterministik yapılar ve net operasyonel fayda metrikleri kurulmalıdır.

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.