Transformer Modellerinde Temsil Evrimini Yönsel Ayrıştırma ile Çözümlemek

Fonksiyonel Geometri ve Temsil Evrimi

Transformer mimarilerinde katmanlar boyunca temsiller, mevcut yönlerini koruyan ya da bu yönü saptıran öğrenilmiş eklemeli dönüşümler aracılığıyla evrilir. Bu çalışma, temsil dinamiklerini fonksiyonel bir geometri olarak ele almakta; öğrenilen tüm katman güncellemelerini paralel (mevcut yönü koruyan) ve dikey (yönü değiştiren) bileşenlerine ayrıştırarak inceler. Önceden eğitilmiş popüler modeller üzerinde yapılan analizler, rezidüel kimlik (residual identity) yolunun sağladığı temel akışın çok ötesinde, modellerin iç yapısında kayda değer büyüklükte paralel bileşenler barındırdığını göstermektedir.

İki Temel Uzayda Yönsel Ayrıştırma

Geliştirilen matematiksel ayrıştırma çerçevesi, mimari içerisindeki iki ana işlem uzayına uygulanmıştır:

Rezidüel ve Gizli Durum Uzayı: Çok başlı dikkat (attention) ve MLP bloklarından gelen güncellemelerin, mevcut gizli duruma (hidden state) göre paralel ve dikey eksenlerde analiz edilmesi.
Değer (Value) Kümeleme Uzayı: Dikkat mekanizmasındaki değer toplamasının (value aggregation), mevcut belirtecin (token) kendi doğrudan değer vektörüne göre yönsel olarak ayrıştırılması.

Model Düzenleme ve Mekânsal Asimetri

Parametrelere yapılan hedefe yönelik müdahaleler (targeted edits), uzaylar arasında belirgin bir asimetri sergilemektedir. Belirtecin kendisini hariç tutan (exclude-self) değer uzayındaki paralel manipülasyonlar; hem rezidüel uzaydaki müdahalelere hem de dikey bileşen değişikliklerine kıyasla çok daha yüksek bir dayanıklılık (robustness) sunar. Bu yöntem, belirtecin doğrudan taşıdığı öz mesajı korurken yalnızca diğer belirteçlerden toplanan kümülatif bağlam bilgisini ölçeklendirir.

Model Sıkıştırma ve Hata Teşhisi

Yönsel ayrıştırma yaklaşımı, kuantalama ve budama gibi model sıkıştırma yöntemlerinin yol açtığı güncelleme hatalarını bileşen düzeyinde teşhis etmeyi sağlar. Deneyler, farklı sıkıştırma yöntemlerini birbirinden ayırt etmede ve kalite kayıplarını saptamada dikey hatanın, paralel hataya kıyasla çok daha belirleyici ve net bir tanı metriği sunduğunu kanıtlamaktadır.

Sıfırdan Ön Eğitim ve Performans Artışı

Modellerin sıfırdan ön eğitimi (pretraining) sırasında tam kümeleme paralel bileşeninin bastırılması; doğrulama kaybı (validation loss) eğrilerini kalıcı biçimde düşürmekte ve genel alt görev (downstream) başarım ortalamalarını artırmaktadır. Bu müdahalenin en güçlü etkiyi gösterdiği alan ise değer uzayı varyantıdır.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar

Hedefli Model Düzenleme: Modelin temel akıl yürütmesini bozmadan belirli olguları güncellemek için değer uzayındaki paralel bileşenlere odaklanmak, ince ayar ve düzenleme süreçlerinde regresyon riskini azaltır.
Sıkıştırma Tanılama Pipeline'ları: LLM optimizasyon ve kuantalama süreçlerinde sadece toplam kayba bakmak yerine dikey güncelleme hatalarını izlemek, sıkıştırma kalitesini ölçmede standart metriklerden daha güvenilirdir.
Mimari Optimizasyonu: Eğitim sırasında paralel bileşenlerin denetlenmesi, aşırı öğrenmeyi engelleyerek modelin genelleştirme kabiliyetini artırır. Araştırmaya ait deney kodları Shwai-He/Transformer-Geometry açık kaynak deposunda sunulmaktadır.

Orijinal kaynağa buradan ulaşabilirsiniz.