Qwen3-1.7B: Vektör Uzayında Konuşma Temsillerini İzlemek

Bir dil modeliyle yaptığın her yazışma, sorduğun her soru ya da yarım kalan her tartışma modelin içinde ardışık durumlar üretir. Metni modele verdiğinde ilk adım parçalanmadır. Model girdiyi kelimelere, kelime köklerine veya noktalama işaretlerine karşılık gelen token birimlerine ayırıp her birini başlangıç sayı dizisiyle eşleştirir. Operator_0x tarafından hazırlanan etkileşimli atlas, dondurulmuş Qwen3-1.7B modelinin bu iç temsillerini üç boyutlu uzayda görünür kılıyor.

Kalıntı Akışı ve 2.048 Boyutlu Çalışma Alanı#

Modelin iç dünyasını anlamak için residual stream yani kalıntı akışı kavramına bakmak gerekiyor. Taras Tsugrii'nin de detaylandırdığı bu yapı, model katmanlarının veri okuyup üzerine ekleme yaptığı merkezi ortak çalışma alanıdır. Süreç embedding tablosuyla başlar. Qwen3-1.7B modelinde her token pozisyonu tam 2.048 sayıdan oluşan bir vektörle temsil edilir. Eğitim sürecinde şekillenen 151.936 kelimelik dağarcık tablosu, henüz hiçbir konuşma bağlamı yokken bile tokenların kullanım örüntülerinden öğrenilmiş anlamsal ilişkileri barındırır.

Üç boyutlu temel bileşen analizi (Global PCA) eksenlerine yansıtılan bu 151.936 başlangıç vektörü, uzayda turuncu bir nokta bulutu oluşturur. Noktalar arasında henüz bir konuşma sırası yoktur. Ancak metin modelin katmanlarından geçerken her pozisyondaki vektör, o ana kadar biriken bağlamla güncellenerek başlangıç noktasından uzaklaşır ve yeni bir yön kazanır.

Çok Dilli Sorular ve Kod Örnekleri Deneyi#

Soyut vektör uzayında gerçek diyalogların nasıl iz bıraktığını görmek için 100 farklı konu başlığı seçilmiş. Bu konular etrafında İngilizce, Çince, Almanca ve Hırvatça soru-cevap çiftleri ile ayrı bir kodlama örnekleri koleksiyonu oluşturulmuş. İlk aşamada 100 konuya yayılan 900 İngilizce soru-cevap örneği aynı dondurulmuş modelden geçirilerek son token durumları kaydedilmiş.

Görselleştirme yapılırken vektör uzunlukları normalize edilmiş. Böylece büyüklük farkları elenerek doğrudan vektörlerin uzaydaki yönleri karşılaştırılmış. Turuncu bulut başlangıçtaki ham kelime temsillerini gösterirken, renkli çizgiler bağlam işlendikçe oluşan durumları birbirine bağlıyor. Tek bir konuşma, 2.048 sayılık tek bir özet vektöre sıkışmak yerine, her token adımında evrilen çok sayıda durumun oluşturduğu bir rota çiziyor.

Geliştirici İçin Anlamı ve Uygulama Fikirleri#

Dil modellerini kapalı kutu gibi kullanmak yerine iç geometrisini kavramak, yazdığın istemlerin modeli nasıl yönlendirdiğini anlamanı sağlar. Bir konuşmanın tek bir noktadan ibaret olmadığını bilmek bakış açını değiştirir. İstemdeki her yeni kelime, ortak çalışma alanındaki 2.048 boyutlu vektörün yönünü adım adım büker.

Sen de açık ağırlıklı bir modelle çalışırken benzer bir gözlem pratiği kurgulayabilirsin:

• Başlangıç ve son durumları ayır: Girdi tokenlarının ham tablo vektörleriyle, katmanlar işlendikten sonra ortaya çıkan son residual stream çıktısını ayrı ayrı kaydet.
• Büyüklük yerine yöne odaklan: Kaydettiğin son durum vektörlerinin uzunluklarını normalize ederek bağlamın yarattığı açısal yön değişimlerini kıyasla.
• Boyut indirgeme uygula: Binlerce boyuta sahip vektörleri Global PCA ile üç boyuta indirgeyip tüm veri kümelerini aynı sabit eksen çerçevesinde incele.
• Farklı girdileri aynı çerçevede test et: Farklı dillerdeki aynı soruları veya kod bloklarını dondurulmuş modelden geçirerek vektör uzayında komşu bölgelere düşüp düşmediklerini kontrol et.

Modelin metni işlerken bıraktığı geometrik izleri takip etmek, bağlam penceresinde eklediğin her ifadenin çıktıyı nasıl şekillendirdiğini somutlaştırır.