Qwen3.5-0.8B Nöronlarında Eğitimin Açıklayamadığı Gizli Bir Örüntü Var

Qwen3.5-0.8B'nin Nöronları Gizlice Sıralanmış Durumda (Özet)#

Qwen3.5-0.8B modelinin Çok Katmanlı Algılayıcı (MLP) nöronları, önem sırasına göre saklanmış görünmektedir. Modelin 24 katmanının tamamında en aktif nöronlar en düşük indekslere sıkıştırılmıştır. Katmana bağlı olarak, en aktif 100 nörondan %63 ila %96'sı toplam 3.584 pozisyonun ilk 512'sinde yer alır; oysa rastgele bir dağılımda bu oranın %14 olması beklenirdi. Üstelik bu sıralama, model tek bir token bile işlemeden önce ham ağırlıklarda (weights) dahi görülebilmektedir.

Bu durumun pratikte çok ciddi sonuçları vardır:

• Her MLP katmanının yalnızca ilk yarısını tutmak, Python kodundaki şaşkınlık (perplexity) değerini 4.1'den 8.6'ya çıkarır ve model akıcı, konuyla ilgili metinler üretmeye devam eder (ancak tek bir programlama problemini bile tam bitiremez).
• Rastgele bir yarısını tutmak, perplexity değerini 79'a fırlatır ve modelin sürekli "d" harfini tekrarlamasına yol açar.
• Son yarısını tutmak ise bu değeri 400.000'in üzerine çıkarır.

Bu keşif, modeli herhangi bir eğitim yapmadan doğrudan az sayıda ağırlığı düzenleyerek (weight-space programming) daha az token ile daha fazla kodlama problemi çözecek hale getirme çalışmaları sırasında ortaya çıkmıştır. Modelin zaten doğru olan cevaplardan şüphe duyup gereksiz uzun akıl yürütme (overly long reasoning) yapmasıyla ilişkili son katmandaki 64 nöron arandığında (28, 84, 11, 234, 36, 6, 291, 2 vb.), 3.584 nöronun tamamına yayılması gereken bu 64 önemli nörondan 56'sının 512'nin altında bir indekse sahip olduğu görülmüştür. Standart eğitim süreçleri böyle bir yapı üretemez; bu durum modelin nasıl inşa edildiğine (örneğin yapısal budama veya distilasyon süreçlerine) dair bir parmak izidir.

Arka Plan: Nöron Sıralaması Bilgi Taşımamalıdır#

Qwen3.5-0.8B içindeki her dönüştürücü (transformer) katmanı, 3.584 gizli nörona sahip kapılı bir MLP (SwiGLU) içerir. $j$ indeksli nöron, katmanın girdisini iki girdi matrisinin ($W_{gate}$ ve $W_{up}$ projeksiyonları) $j$. satırı üzerinden okur ve sonucunu $W_{down}$ projeksiyonunun $j$. sütunu üzerinden geri yazar:

MLP(x) = W_down · ( SiLU(W_gate · x) ⊙ (W_up · x) )

Bir MLP katmanındaki iki nöronun ($#j$ ve $#k$) ilgili satır ve sütunlarıyla birlikte yer değiştirmesi, katmanın hesapladığı sonucu hiçbir şekilde değiştirmez. Aynı durum 3.584 nöronun herhangi bir $P$ yeniden sıralaması için de geçerlidir: $W_{gate}$'i $P \cdot W_{gate}$ ile, $W_{up}$'ı $P \cdot W_{up}$ ile ve $W_{down}$'ı $W_{down} \cdot P^T$ ile değiştirmek birebir aynı çıktıyı verir.

Permütasyon simetrisi (permutation symmetry), yapay sinir ağlarının klasik bir özelliğidir. Nöronların her sıralaması aynı fonksiyonu hesaplar. Dolayısıyla, rastgele bir başlangıçtan hareket eden gradyan inişinin (gradient descent) önemli nöronları düşük indekslere yerleştirecek hiçbir mekanizması yoktur. Normal şartlarda eğitilmiş bir modelde nöron indeksinin hiçbir bilgi taşımaması gerekir.

Deney 1: Aktivite Nöron İndeksiyle İlişkili mi?#

Bu hipotezi doğrulamak için model MBPP veri setinden 128 programlama problemini yanıtlarken her bir MLP nöronunun (24 katman × 3.584 nöron) aktivasyonu kaydedilmiş ve her nöronun ortalama aktivasyon büyüklüğü 64 nöronluk bloklar halinde hesaplanmıştır.

Yazılım Geliştirme ve Ölçeklendirme Açısından Pratik Çıkarımlar:

• Model Sıkıştırma ve Budama (Pruning): Açık ağırlıklı modelleri üretim ortamında optimize ederken nöronların önceden önem sırasına göre dizilmiş olabileceği kontrol edilmelidir; bu yapı doğrudan hızlı budama (structured pruning) imkânı sunar.
• Yorumlanabilirlik (Interpretability) ve Ağırlık Düzenleme: Model davranışlarını (örneğin gereksiz uzun akıl yürütmeleri) düzeltmek için ağırlık uzayında arama yaparken düşük indeksli nöronlara odaklanmak, hesaplama maliyetini ve arama uzayını büyük ölçüde daraltabilir.
• Üretimde Doğrulama: Nöronların ilk yarısı tek başına akıcı metin üretse de kodlama problemlerini tamamlayamadığından, model küçültme işlemlerinde yalnızca perplexity değerine değil, uçtan uca görev başarısına odaklanılmalıdır.