'Astra, Qwen'i Geliştirmek İçin Ağırlıkları Okuyup Yazabiliyor' Yazısı Neden Yanıltıcı?

Sahne sihirbazları genellikle aynı numarayı birden fazla yöntemle sergiler. İlkinde hileli bir aparat kullanır, ikincisinde aparatın hilesiz olduğunu gösterip nesneyi avuç içine gizler, üçüncüsünde ise zorunlu seçim tekniğine başvurur. Gösteriyi izlerken tek bir yöntem kullanıldığını varsaydığınız için, her tekrarda sihirbazın numaranın nasıl çalıştığına dair hipotezinizi çürüttüğünü düşünürsünüz. "Astra, Qwen'i geliştirmek için ağırlıkları okuyup yazabiliyor" başlıklı blog yazısındaki deneyler de tam olarak bu şekilde kurgulanmış.

Özetin İddiası ve Gerçeklik#

Yazının özeti, GPT-6 Astra'nın yalnızca ham ağırlıklara (raw weights) bakarak bir ağın ne için eğitildiğini anlayabildiğini, sıfırdan küçük oyun ağları yazabildiğini ve Qwen3.5-0.8B modelindeki akıl yürütme döngüsü (reasoning loop) sorununu gradyan kullanmadan, ağırlıkların yalnızca %0,016'sını doğrudan düzenleyerek çözdüğünü iddia ediyor. Bu düzeltmenin MATH-500 başarısını %7,9'dan %48,1'e çıkardığı ve IFEval skorunu 3 katına yükselttiği belirtiliyor.

Bu özeti okuduğunuzda, Qwen deneyinin "yalnızca ham ağırlıklara bakarak" gerçekleştiğini düşünürsünüz; ancak gerçek öyle değil. Ham ağırlıklara bakan deneyler ile Qwen'in matematik performansını artıran deney birbirinden tamamen farklıdır. Büyük modellerle yapılan deneyler doğrudan ham ağırlıkları okumak yerine Python programları yazar.

Deneylerin Gerçek Özeti ve Kullanılan Teknikler#

Makalede yer alan 10 deneyin gerçekte nasıl çalıştığının dökümü şu şekildedir:

• 1. PPO MLP'nin eğitildiği oyunu tahmin etme (17K boyut): Ham ağırlık okur: Evet | Ağırlık yazar: Hayır | Python: Hayır | Ağı çalıştırır: Hayır | Sonuç: 4/4 doğru.
• 2. Difüzyon MLP'nin ürettiği şekli bulma (24K boyut): Ham ağırlık okur: Evet | Ağırlık yazar: Hayır | Python: Hayır | Ağı çalıştırır: Hayır | Sonuç: 3/3 doğru.
• 3. Karakter Transformer modelinin dil ve kopyalama başlıklarını bulma (7.2M boyut): Ham ağırlık okur: Hayır | Ağırlık yazar: Hayır | Python: Evet | Ağı çalıştırır: Hayır | Sonuç: 3/3 doğru.
• 4. Takılı kalan Kinetix araba politikasını düzeltme (172K boyut): Ham ağırlık okur: Evet | Ağırlık yazar: Evet | Python: Hayır | Ağı çalıştırır: Hayır (Kaydedilmiş tek bir başarısızlık bölümü verilerek) | Sonuç: Tek denemede ağırlıkların %3,5'ini değiştirerek %0 → %100.
• 5. Sıfırdan MinAtar oyun MLP'leri yazma (20K boyut): Ham ağırlık okur: Hayır (Ağırlıklar sıfırdan başlar) | Ağırlık yazar: Evet | Python: Hayır | Ağı çalıştırır: Hayır | Sonuç: PPO-100M'i yener (PPO-500M'i sadece Breakout'ta yener, Seaquest ve Asterix'te kaybeder).
• 6. 9×9 Go ağı yazma (1.5M boyut): Ham ağırlık okur: Hayır | Ağırlık yazar: Evet | Python: Evet | Ağı çalıştırır: Evet (0–50 geçiş) | Sonuç: PPO'yu yener.
• 7a. Dalkavuk (sycophantic) Gemma 3'ü tespit etme (270M boyut): Ham ağırlık okur: Hayır | Ağırlık yazar: Hayır | Python: Evet | Ağı çalıştırır: Hayır | Sonuç: Başarısız.
• 7b. Aynı deney, dikkat (attention) örüntülerini görerek (270M boyut): Ham ağırlık okur: Hayır | Ağırlık yazar: Hayır | Python: Evet | Ağı çalıştırır: Evet (16 metne kadar çalıştırıp çıktıları değil sadece dikkat örüntülerini görür) | Sonuç: 3/3 doğru.
• 8. Qwen3.5'in matematiğini düzeltme (800M boyut): Ham ağırlık okur: Hayır | Ağırlık yazar: Evet | Python: Evet | Ağı çalıştırır: Evet (50 geçiş) | Sonuç: %7,9 → %48,1.
• 8b. Aynı deney, Gemma 3 üzerinde (270M boyut): Ham ağırlık okur: Hayır | Ağırlık yazar: Evet | Python: Evet | Ağı çalıştırır: Evet (50 geçiş) | Sonuç: Başarısız.

Yazılım Geliştirme ve Mühendislik Açısından Çıkarımlar#

"Yalnızca ham ağırlıklara bakma" kurgusu (bağlam içinde ham float değerleri, araç yok, ağı çalıştırma yok) sadece 17K–172K ağırlığa sahip 1, 2 ve 4 numaralı deneylerde geçerlidir. Gerçek bir dil modelini içeren her deney Python kullanır ve manşete taşınan Qwen sonucu, modeli 50 yığına (batch) kadar pratik problem üzerinde çalıştırma imkanına sahiptir.

Yazılım ve makine öğrenmesi mühendisliği açısından buradaki temel çıkarım şudur: Qwen sonucu, modelin insanüstü bir "ağırlık okuma" yeteneğine sahip olduğunu değil, bir insan ML mühendisinin yapabileceği görevleri tasarlayıp yürütecek şekilde yönlendirilebildiğini (prompting ve kod yürütme) gösterir. ML mühendisleri ağ ağırlıklarını analiz eden veya değiştiren kod parçacıklarını sürekli yazarlar. Bir yapay zeka modelinin bunu üretken şekilde yapabilmesi birkaç yıl öncesine göre önemli bir ajan (agent) başarısıdır; ancak bunu "ham ağırlıklara bakarak modeli iyileştirmek" olarak sunmak yanıltıcı bir pazarlamadır. AI araştırmalarını ve teknik duyuruları incelerken özet (abstract) iddialarıyla deney kurgularındaki araç kullanımı (tool calling) detaylarını birbirinden ayırmak kritik önem taşır.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Tool Calling ve Multi-Step Agent'lar modülüne göz atın.