Büyük Dil Modellerinde Pekiştirmeli Öğrenmede Düşünce Sızıntısı (Thinking Leakage)

Hibrit Modeller ve Düşünce Sızıntısı Hipotezi#

Qwen3 serisi gibi hibrit akıl yürütme modelleri, sohbet şablonunda yer alan birkaç belirteç (chat-template tokens) yardımıyla THINK (düşünme) modu ile NO-THINK (düşünmeme) modu arasında dinamik olarak geçiş yapabilmektedir. Güncel pratiklerde bu modeller, NO-THINK modundayken pekiştirmeli öğrenme (RL) ile eğitilmekte ve akıl yürütme performansında belirgin artışlar sağlandığı raporlanmaktadır. Ancak sunulan kanıtlar, bu performans artışının önemli bir kısmının "düşünce sızıntısı" (thinking leakage) ile açıklanabileceğini göstermektedir. Diğer bir deyişle kazanım, modelin sıfırdan gelişmiş bir akıl yürütme davranışı öğrenmesinden değil; orijinal modelin THINK modundaki mevcut akıl yürütme yeteneklerinin kısmen yeniden tetiklenmesinden kaynaklanmaktadır.

Qwen3-1.7B, 4B ve 8B modelleri NO-THINK modunda GRPO (Group Relative Policy Optimization) ile eğitildiğinde, doğruluk arttıkça model çıktılarının uzadığı ve daha derinlikli hale geldiği görülmüştür. Bu yanıtların orijinal model tarafından kendi düşünce sürecine benzediği değerlendirilmiş ve modelin iç aktivasyonlarının doğrudan THINK moduna doğru kaydığı tespit edilmiştir.

Ağırlık, Aktivasyon ve Dikkat Düzeyinde İnceleme#

Araştırmacılar ağırlıklar, aktivasyonlar ve dikkat başlıkları düzeyinde üç kritik bulgu ortaya koymuştur:

• Ağırlık ve Güncelleme Ölçeklendirmesi: RL güncellemesinin ölçeğini artırmak, THINK modu davranışını daha da tetiklemekte ve model doğruluğunu THINK moduna yaklaştırmakta; fakat bu doğruluğu aşamamaktadır.
• Aktivasyon Alt Uzayı Müdahalesi: Qwen3-8B üzerinde yapılan deneylerde, RL ile eğitilmiş modelin THINK ile ilişkili düşük boyutlu aktivasyon alt uzayı orijinal modelin değerleriyle değiştirildiğinde RL kazanımının neredeyse tamamı silinmektedir. Tersi yapıldığında ise bu kazanımın kayda değer bir kısmı orijinal modele aktarılabilmektedir.
• Boş Düşünce Bloğu ve Dikkat Başlıkları: RL eğitiminin neden olduğu bu içsel kaymanın, boş düşünce bloğunu (empty think block) okuyan dikkat başlıkları üzerinden geçtiği doğrulanmıştır.

GRPO Eğitim Mekanizması ve Pratik Çıkarımlar#

Araştırma, GRPO eğitim sinyalinin temel mekanizmasını da aydınlatmaktadır: Avantaj ağırlıklı güncellemeler tarafından tercih edilen yanıtlar yapısal olarak THINK moduna daha çok benzemekte ve bu sinyal üzerinden hesaplanan gradyan adımları modeli adım adım THINK durumuna taşımaktadır. Dolayısıyla NO-THINK modundaki kazanımlar, çoğunlukla modelde önceden var olan kabiliyetlerin yeniden uyanışıdır.

Yazılım geliştiriciler ve yapay zekâ mühendisleri için bu durum kritik dersler barındırır. Hızlı çıkarım ve düşük maliyet amacıyla NO-THINK modunda ince ayar (fine-tuning) yaparken, modelin gerçekten yeni kurallar mı öğrendiği yoksa gizli token kalıpları üzerinden düşünce modunu mu taklit ettiği dikkatle analiz edilmelidir. Maliyet optimizasyonu ve üretim ortamlarında çıkarım gecikmesini yönetirken, chat-template mimarisinin ve boş düşünce bloklarının iç temsiller üzerindeki etkisini izlemek yanıltıcı performans ölçümlerinin önüne geçecektir.

---

Bu konuyu derinlemesine öğrenmek isterseniz: İleri Akıl Yürütme Teknikleri modülüne göz atın.