Dust: Geri Yayılım Olmadan Transformer Modellerini Ön Eğitmek

Özet (TL;DR)#

• Geri yayılımla rekabet edebilen ilk sıfırıncı derece yöntem: Dust, Transformer dil modellerinin ön eğitiminde klasik geri yayılım (backpropagation) ile rekabet edebilen ilk sıfırıncı derece (zeroth-order) optimizasyon yöntemidir.
• Aktivasyon pertürbasyonu ile paralel değerlendirme: Ağırlık uzayı yerine her token için aktivasyonları (node perturbation) bağımsız olarak pertürbe eder. Böylece her token sanal bir popülasyon üyesine dönüşür ve tek bir ileri geçiş (forward pass) ile tüm popülasyon paralel olarak değerlendirilir.
• Yüksek hesaplama bütçesinde geri yayılımı aşabilme: Büyük popülasyon boyutlarında geri yayılıma çok yaklaşır ve çeşitli senaryolarda onu geride bırakır. Bu durum, hesaplama açısından zengin rejimlerde geri yayılımın aşılabileceğini gösterir.
• Evrimsel stratejilere (ES) kıyasla olağanüstü verimlilik: Ağırlık uzayında çalışan evrimsel stratejilerden katbekat daha verimlidir. Yapılan ekstrapolasyonlara göre 1 milyon tokenden itibaren Dust, modern bir ES yöntemi olan EGGROLL'un Transformer uyarlamasından $10^3$ ila $10^4$ kat daha verimlidir.
• Büyük modellerde artan popülasyon verimliliği: Sıfırıncı derece yöntemlerin büyük ağlara ölçeklenemeyeceği yönündeki yaygın inancın aksine, modeller büyüdükçe popülasyon verimliliği düşmemekte, artmaktadır; 243M parametreli bir model, 120 kat daha küçük bir modeli çoğu popülasyon ölçeğinde geride bırakır.
• Ölçeklenebilir ve tutarlı gradyan uyumu: Popülasyon genişledikçe Dust'ın gradyan kestirimleri geri yayılımla daha iyi hizalanır ve test edilen 1 milyar token ölçeğine kadar bu uyum korunur.

1. Giriş#

Modern derin öğrenme ve Transformer mimarileri; türevlenebilirlik şart koşan ve birinci derece gradyanlar üreten geri yayılım algoritması ekseninde inşa edilmiştir. Donanımlar, optimizasyon yöntemleri ve model yapıları bu kısıt doğrultusunda birlikte evrilmiştir. Ancak Richard Sutton’ın ifade ettiği "Acı Ders" (The Bitter Lesson) prensibine göre, türevlenebilirlik gibi yapay yanlılıklar yerine, hesaplama gücüyle doğrudan ölçeklenen genel arama algoritmaları uzun vadede daima kazanmaktadır (örneğin AlphaGo Zero'nun insan verisiyle eğitilen ağı saf öz-oyun ile geride bırakması gibi).

Geri yayılım ve türevlenebilirlik, düşük hesaplama rejiminde eğitimi verimli kılsa da, yüksek hesaplama rejiminde çalışabilecek mimarilerin alanını kısıtlar ve kayıp yüzeyindeki kötü global minimumlara takılabilir. Arama temelli, kaba kuvvet hesaplamasına dayanan esnek bir kredi atama (credit assignment) algoritması, modellerin genelleme kabiliyetini kökten artırmada kritik bir adımdır.

Yazılım Geliştirme ve Öğrenme Çıkarımları#

• Bellek ve Hesaplama Tasarrufu: Geri yayılımın gerektirdiği geriye dönük hesaplama grafiği ve aktivasyon önbellekleme yükü kalktığında, GPU/TPU belleğinde devasa tasarruf sağlanarak eğitim altyapıları sadeleşebilir.
• Türevlenemeyen Bileşenlerin Entegrasyonu: Türevlenebilirlik zorunluluğunun aşılması, ayrık mantık bloklarının ve kuantize işlemlerin doğrudan model mimarilerine entegre edilmesine olanak tanır.
• Arama Tabanlı Ölçeklenme: İleri seviye yapay zekâ mühendisliğinde karmaşık gradyan optimizasyon kütüphaneleri yerine, yüksek paralellikte çalışan kaba kuvvet ileri geçiş değerlendirmeleri öne çıkabilir.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.