Dizüstü Bilgisayarımdaki Qwen 3.8 27B de Model Ağırlıklarını Yorumlayabiliyor

Son dönemde yayımlanan Sparks of Weight-Space Programming: LLMs can natively read & write neural network weights (Rikiya Takehi, Jayden Teoh, Alex Zhang ve Omar Khattab) başlıklı çalışma, yapay zeka dünyasında büyük yankı uyandırdı. Yazarların bir "blog yazısı" olarak sınıflandırdığı ancak kapsamlı bir makale niteliği taşıyan bu araştırma, özellikle GPT-6 Astra gibi öncü modellerin bir makine öğrenmesi modelinin ham ağırlıklarını —yani ondalıklı sayılardan oluşan düz metin açıklamalarını— hem yorumlayabildiğini hem de değiştirebildiğini ortaya koydu.

Daha da heyecan verici olan gelişme ise, bu yeteneğin yalnızca devasa bulut modelleriyle sınırlı kalmaması: Dizüstü bilgisayarda yerel olarak çalışan Qwen 3.8 27B modeli de makaledeki örnekler üzerinde aynı ağırlık yorumlama başarısını gösterebiliyor.

Ağırlık-Uzayı Programlama (Weight-Space Programming)#

Makalenin özet bölümünde, LLM'lerin model ağırlıklarını analiz edip değiştirmesi Ağırlık-Uzayı Programlama (Weight-Space Programming) olarak tanımlanıyor ve GPT-6 Astra'nın öne çıkan yetenekleri şu şekilde sıralanıyor:

• Doğrudan Ağırlık Analizi: Sadece ham ağırlıklara bakarak bir sinir ağının ne yapmak üzere eğitildiğini anlayabiliyor.
• Sıfırdan Ağ Yazımı: Hiçbir ortam geri bildirimi (environment feedback) olmadan, 100 milyon adım boyunca PPO ile eğitilmiş ağları geride bırakan küçük oyun oynama ağlarını sıfırdan yazabiliyor.
• Gradyansız Model İyileştirme: Qwen3.5-0.8B modelini matematikte gradyan kullanmadan geliştirmesi istendiğinde, model kartında da uyarılan akıl yürütme döngülerine (reasoning loops) yol açan ağırlık sorununu tespit ediyor ve ağırlıkların yalnızca %0,016'sını doğrudan düzenleyerek bu hatayı düzeltiyor.
• Genellenebilir Performans Artışı: Aynı örnekleme ayarlarıyla bu ağırlık düzeltmesi, MATH-500 başarısını %7,9'dan %48,1'e çıkarıyor ve doğrudan komut takibine genellenerek IFEval skorunu 3 katına yükseltiyor.
• Eğitim Döngüsü Olmadan Akıl Yürütme: Tüm bunlar herhangi bir eğitim döngüsü (training loop) yazmadan gerçekleşiyor; model, sinir ağının her bir parçasının neyi hesapladığını veya hesaplaması gerektiğini akıl yürütme yoluyla çözüp ağırlıkları buna göre güncelliyor.

İki Farklı Yaklaşım ve Araçsız (No-Tools) Analiz#

Makale aslında ayrı ele alınması gereken iki konuyu birleştiriyor:

• Modellerin hiçbir araç kullanmadan veya kod çalıştırmadan ham ağırlıklarla neler yapabildiği.
• Kod çalıştırma yetkisi verildiğinde diğer modelleri güncellemek ve iyileştirmek için operasyonları ne kadar iyi yürütebildiği.

spaCy'nin yazarı Matthew Honnibal makaleyi bu iki konuyu birbirine karıştırdığı için yanıltıcı bulurken, Sean Goedecke ise Qwen3.5-0.8B güncelleme örneğinin bir insan makine öğrenmesi araştırmacısının izleyeceği adımlarla aynı olduğunu belirterek süreci çözümledi.

Ancak asıl ilgi çekici olan ilk soru, yani "LLM'ler ağırlıklardan model davranışlarını anlayabilir mi?" sorusudur. Araştırmacılar bunu test etmek için dört klasik bilgisayar oyununun (Breakout, Pong, Pac-Man ve 1981 yapımı Atari 2600 oyunu Freeway) basitleştirilmiş 10x10 ızgara (grid) versiyonlarını oynamak üzere dört sinir ağı eğitti. Ardından bu ağırlıkları ondalıklı sayılar halinde LLM'e vererek şu komutu yöneltti:

• Aşağıdaki ağırlıklar, bu ızgara üzerinde bir oyunu oynamak için pekiştirmeli öğrenme (reinforcement learning) ile eğitilmiş bir politika ağına (policy network) aittir.
• Hangi oyun üzerinde eğitilmiştir? Sadece ağırlıklardan yola çıkarak çalışın.
• Hiçbir aracınız yok: kod çalıştırma yok, hesap makinesi yok, yürütülecek hiçbir şey yok. Tek bir yanıt verin.

Çalışmaya eşlik eden RikiyaT/lm_understand-logs GitHub deposundaki exp1_which_game deneyi üzerinden yapılan testler, yerel bir Qwen 3.8 27B modelinin bile bu ağırlıkları yorumlayabildiğini kanıtlıyor.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

• Kara Kutu (Black-Box) Algısının Değişimi: Sinir ağı ağırlıkları geleneksel olarak insan veya model tarafından doğrudan okunamaz kabul edilirdi. LLM'lerin matris yapılarını ve sayısal örüntüleri semantik davranışlarla eşleştirebilmesi, model açıklanabilirliği (explainability) ve hata ayıklama süreçlerinde yeni bir paradigma başlatıyor.
• Yerel Modellerin Akıl Yürütme Gücü: Qwen 3.8 27B gibi dizüstü bilgisayarda çalışabilen açık ağırlıklı bir modelin, harici hiçbir kod çalıştırma aracı olmadan saf akıl yürütme (reasoning) ile ağırlık uzayını çözebilmesi, yerel geliştirme ortamlarının kapasitesini gözler önüne seriyor.
• Araçlı ve Araçsız Değerlendirme Ayrımı: AI sistemlerini ve ajanlarını tasarlarken, bir modelin "saf içsel akıl yürütme yeteneği" ile "kod/araç kullanarak problem çözme yeteneğini" birbirinden ayırmak, doğru model seçimi ve benchmark analizi için kritik öneme sahiptir.