Kırpmalı mı, Kırpmamalı mı? Kırpılmış Geri Yayılımlı Döngüsel Transformer Modellerinin Ölçeklendirme Çalışması

Döngüsel Transformer Mimarisi ve Eğitim Zorlukları#

Döngüsel transformer (looped transformer) modelleri, eğitilebilir parametre sayısını artırmadan hesaplama derinliğini yükseltmek için ortak bir katman bloğunu tekrar tekrar kullanır. Bu modeller, zaman içinde geri yayılım (Backpropagation Through Time - BPTT) yöntemiyle eğitilir. Eğitim sırasındaki hesaplama maliyetini (compute) düşürmek amacıyla BPTT genellikle sadece son birkaç döngüyle sınırlandırılarak kırpılır (truncated). Ancak bu kırpma işlemi, döngüsel yapının sağladığı avantajları zayıflatabilecek yanlı (biased) gradyanlara yol açar.

Sistematik Ölçeklendirme Yasası ve Bulgular#

Bu çalışmada, döngüsel transformer eğitiminde kırpma işleminin gerçek değeri sistematik bir yaklaşımla incelenmektedir. Yaklaşık 600 farklı eğitim çalışmasında model boyutu, eğitim token sayısı ile ileri (forward) ve geri (backward) döngü sayıları birlikte değiştirilerek, döngü ve kırpma etkilerini "etkin parametreler" üzerinden yakalayan birleşik bir ölçeklendirme yasası (scaling law) oluşturulmuştur.

Araştırmanın ortaya koyduğu temel bulgular şunlardır:

• Tam BPTT'nin Üstünlüğü: Kırpma işleminin sağladığı eğitim maliyeti tasarrufuna rağmen, ileri ve geri döngü sayıları birlikte optimize edildiğinde, geliştirilen ölçeklendirme yasası tam BPTT (full BPTT) kullanımını desteklemektedir.
• Eşit Hesaplama Bütçesinde Performans: Eşit hesaplama gücüne sahip (matched-compute) eğitimlerde, daha az sayıda döngü üzerinden yapılan tam BPTT, aynı maliyetteki kırpılmış kurulumları istikrarlı bir şekilde geride bırakmaktadır.
• Sabit Model Boyutunda Ölçeklendirme: Model boyutu sabit tutulduğunda, hesaplama açısından optimal döngü sayısı ve eğitim token bütçesi, toplam hesaplama kapasitesiyle birlikte artış göstermektedir.
• En İyi Döngüsel Yapılandırma: Model boyutu da serbest bırakıldığında, ölçeklendirme yasası en iyi döngüsel ayar olarak tam eğitilmiş iki döngüyü işaret etmektedir. Deneysel olarak bu yapılandırma, hesaplama açısından optimal olan döngüsüz (standart) modele kıyasla %27 daha az gömme-dışı (non-embedding) parametre ve yalnızca %8 daha fazla eğitim maliyeti ile daha düşük doğrulama kaybı (validation loss) elde etmeyi başarmaktadır.

Yazılım Geliştirme ve Mühendislik Açısından Pratik Çıkarımlar#

Derin öğrenme sistemleri geliştiren mühendisler ve MLOps ekipleri için bu çalışma, Ölçeklendirme ve Optimizasyon ile Megatron-LM ile Büyük Model Eğitimi süreçlerine doğrudan dokunan kritik dersler barındırmaktadır:

• Kısa Vadeli Optimizasyon Tuzaklarından Kaçının: Eğitim süresini hızlandırmak için gradyanları kırpmak kağıt üzerinde cazip görünse de, yanlı gradyanlar modelin nihai öğrenme kapasitesini düşürür. Çok fazla döngüyü kırparak eğitmek yerine, daha az döngüyü tam geri yayılımla eğitmek kaynakları çok daha verimli kullanmanızı sağlar.
• Bellek Kısıtlı Ortamlar İçin İdeal Mimari: Gömmeler dışındaki parametrelerde sağlanan %27'lik tasarruf, modeli üretim (production) ortamına taşırken VRAM gereksinimlerini ciddi oranda düşürür. Sadece %8'lik ek bir eğitim maliyetiyle daha küçük ama daha başarılı modeller elde etmek, özellikle çıkarım (inference) maliyetlerini optimize etmek isteyen mühendislik ekipleri için güçlü bir stratejidir.