Küçük Yapay Zeka Modelleri Tuzağı Görüyor Ama Yine de Düşüyor

Kaggle Kıyaslama (Benchmarking) Yarışması için hazırlanan bu çalışma, bilişsel psikolojideki meşhur "sopa ve top" bilmecesindeki insan zaafının yapay zeka modellerindeki yansımasını inceliyor. Bir insana "Bir sopa ve top 1,10 dolar tutuyor; sopa toptan 1 dolar daha pahalıysa, top ne kadardır?" diye sorulduğunda çoğu kişi düşünmeden "10 sent" cevabını verir. Ancak aynı kişiye "Bu bir tuzak soru mu?" dendiğinde tuzağı fark eder; yine de aceleyle yanıt verdiğinde tuzağa düşer. Bu çalışma, yapay zeka modellerinde de tuzağı fark etme ile doğru eylemi gerçekleştirme arasında benzer bir uçurum olup olmadığını sorguluyor.

Geliştirilen "Knows It, Falls Anyway" kıyaslaması, her problemi birbirinden bağımsız üç ayrı oturumda test ediyor:

Detect (Tespit): "Bunu çözme. Bu bir tuzak soru mu ve cezbedici yanlış yanıt nedir?" (Modelin tuzağı bildiği, yalnızca aldatıcı sayıyı net olarak belirtmesi durumunda kabul edilir.)
Fast (Hızlı): Akıl yürütme kapalıyken anında ve sadece sayısal yanıt isteme.
Think (Düşün): Akıl yürütme açıkken adım adım çözümleme isteme.

Ana metrik, tuzağı bilmesine rağmen yanılma (knows-but-falls) oranıdır. Ezber yanıtları engellemek için özgün tuzaklı problemler ve matematiksel olarak eşdeğer ancak tuzaksız ikiz kontrol soruları kullanılmıştır.

Test Edilen Modeller

Sonuçlar arasında belirgin bir kontrast oluşturmak amacıyla şu modeller seçilmiştir:

Referans Model: Gemini 3.7 Flash
Küçük Ticari Modeller: GPT-5.4 nano, Gemini 3.1 Flash Lite, Claude Haiku 4.5
Açık Ağırlıklı Modeller: Gemma 4 26B, GPT-OSS-20B (Grok 4.20 sunucu aşırı yük hataları nedeniyle değerlendirme dışı bırakılmıştır.)

Bulgular

Model	Tuzak Tespiti	Hızlı Doğruluk	Düşünme Doğruluğu	Bildiği Halde Yanılma (Hızlı)	Yanlış Alarm	Kontrol Doğruluğu (Hızlı)
Gemini 3.7 Flash	%92	%100	%100	%0	%17	%100
Gemma 4 26B	%75	%100	%92*	%0	%33	%100
Gemini 3.1 Flash Lite	%58	%83	%100	%0	%83	%92
Claude Haiku 4.5	%58	%58	%100	%29	%50	%75
GPT-OSS-20B	%33	%100	%67	%0	%0	%100
GPT-5.4 nano	%25	%33	%100	%67	%25	%83

*Gemma'nın düşünme modundaki tek hatası, doğru yanıtın JSON formatlama kuralına uymamasından kaynaklanmıştır.

Orijinal çalışmada öne çıkan 2 temel sonuç şunlardır:

Uçurum gerçektir, ancak yalnızca en küçük modellerde görülür: GPT-5.4 nano, tespit ettiği 3 problemden 2'sinde hızlı yanıtlarken tuzağa düşmüştür (%67). Claude Haiku 4.5 ise 7 tuzak belirlemiş ve 2'sine düşmüştür (%29). Örneğin, yalancı pozitif tıbbi test probleminde nano modeli tuzağı görmesine rağmen doğru yanıt %8 iken %50 demiştir. Güçlü modellerde bu açık hiç görülmemiştir.
Düşünme (akıl yürütme) süreci açığı tamamen kapatır: Akıl yürütme açıldığında adım adım düşünme süreci tuzakları tamamen etkisiz kılarak doğruluk oranını zirveye çıkarmaktadır.

Yazılım Geliştirme ve Öğrenme Çıkarımları

Model Seçimi: Küçük ve hafif modeller maliyet avantajı sağlasa da doğrudan hızlı çağrılarda bilişsel yanılgılara düşebilir; kritik iş mantığında salt hız yerine model ölçeği gözetilmelidir.
Akıl Yürütmeyi Zorunlu Kılma: Sezgisel hata riski barındıran senaryolarda küçük modelleri doğrudan yanıt modunda değil, Chain-of-Thought veya reasoning mekanizmalarıyla çalıştırmak doğruluğu garanti altına alır.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.