Kadrilyon Parametreli Transformer Modelleri ve Eğitim Yöntemleri

Özet (TL;DR)#

• Devasa Ölçeklendirme: 5 trilyon (5T) token düzeyine ekstrapole edildiğinde, yeni ölçeklendirme yasamız $10^{29}$ FLOP hesaplama bütçesinde Chinchilla yasasının önerdiği parametre sayısının yaklaşık 7.000 katını reçete etmektedir ve parametre sayısı hesaplama gücüyle birlikte büyümeye devam etmektedir.
• Hiperparametre Optimizasyonu: Tekrarlanan veriler üzerinde eğitilen daha büyük modeller, çok daha fazla ağırlık çürümesine (weight decay) ihtiyaç duyar. Hiperparametre yasamız, uydurulan hesaplama bütçesinin 16 katında bile optimale yakın kalmaktadır.
• Sabit Veride Sürekli İyileşme: Ölçeklendirilmiş hiperparametreler ve topluluk öğrenmesi (ensembling) ile sabit veri üzerinde bile kayıp (loss) değeri hesaplama gücü arttıkça düşmeye devam ederken, önceki eğitim reçeteleri bu aşamada kötüleşmektedir.

$$L = \underbrace{E\vphantom{\left(\frac{N}{U^{\gamma}}\right)^{\kappa}}}{\text{indirgenemez}} + \underbrace{\frac{A}{N^{\alpha}}\vphantom{\left(\frac{N}{U^{\gamma}}\right)^{\kappa}}}{\text{küçük model}} + \underbrace{\frac{B}{(UR)^{\beta}}\vphantom{\left(\frac{N}{U^{\gamma}}\right)^{\kappa}}}{\text{görülen token}} + \underbrace{P,(R-1)^{\delta}\left(\frac{N}{U^{\gamma}}\right)^{\kappa}}{\text{aşırı uyum (overfitting)}} - \underbrace{\frac{F}{N^{\nu},U^{\epsilon},R^{\rho}}\left(1-\frac{1}{M}\right)^{\mu}}_{\text{topluluk (ensembling)}}$$

Mühendislik Çıkarımı: Formülde görüldüğü üzere toplam kayıp ($L$); indirgenemez hata, model küçüklüğü, görülen toplam token ($U \times R$), çoklu epoch ($R$) kaynaklı overfitting cezası ve ensembling ($M$ model) kazancının dengelenmesiyle hesaplanır. Büyük model eğitimi (Megatron-LM ile Büyük Model Eğitimi ve Ölçeklendirme ve Optimizasyon) süreçlerinde veri kısıtlıysa, aşırı uyumu baskılamak için regülarizasyon ve topluluk yöntemleri doğrudan mimariye dahil edilmelidir.

1. Giriş (Introduction)#

Yapay zeka ile insanlar arasındaki 1.000.000 katlık örneklem verimliliği (sample efficiency) farkı, alanın hala tam olarak açıklanamamış en temel gizemlerinden biridir. Bu gizeme dair en önemli ipuçlarından biri model boyutudur:

• Chinchilla Yaklaşımı: 30T token için yaklaşık 1,5T parametreli bir model önerir; bu da parametre başına 20:1 token oranı demektir (Hoffmann vd., 2022).
• İnsan Beyni: Her sinapsı bir ağırlık olarak sayarsak yaklaşık 100T parametreye sahiptir ve yalnızca ~200M token üzerinden öğrenir; yani parametre başına token oranı 1:500.000 seviyesindedir.

Yapay zeka ile insan arasındaki parametre başına düşen token farkı 10.000.000 kattır. Örneklem verimliliği açığını kapatmanın en kritik adımı bu oranı birbirine yaklaştırmak olabilir. 30T token üzerinde aslında kentilyon parametreli yapay sinir ağları eğitiyor olmamız gerekir; mevcut ağlarımız olması gerekenden yedi büyüklük mertebesi ($10^7$ kat) daha küçüktür.

Yeni çalışmamız (Baron vd., 2026) bu vizyona doğru somut bir ilerleme sağlamaktadır. Ölçeklendirme yasamızı 5T tokenlık bir veri kümesine ekstrapole ettiğimizde, hesaplama açısından optimal (compute-optimal) parametre sayısı $10^{29}$ FLOP seviyesinde standart Chinchilla reçetesinin ~7.000 katına ulaşmaktadır. Yeterli hesaplama gücü sağlandığında, kadrilyon parametreli ağları eğitmek için uygulanabilir reçeteler sunuyoruz. 5T token üzerinde Chinchilla 250B parametrede dururken, bizim yasamız topluluk içindeki tüm modellerin toplamı bazında hesaplama gücüyle büyümeye devam etmektedir.

2. İhtiyacınız Olan Tek Şey Parametreler (Parameters are all you need)#

Yeni araştırmamız (Baron vd., 2026), veri kümesi sabit tutulduğunda bile hesaplama açısından optimal model boyutunun hesaplama bütçesiyle birlikte büyümeye devam ettiğini ortaya koymaktadır. Bu rejimde, hesaplama bütçesi arttıkça epoch sayısını ve topluluk (ensemble) üyesi sayısını da artırmak gerekir:

• Chinchilla Karşılaştırması: Chinchilla sabit bir veri kümesi için sabit bir model boyutu (parametre başına 20 token) dikte eder.
• Yeni Reçete: Çalışmamızın 5T tokena ekstrapolasyonu, $10^{29}$ FLOP seviyesinde topluluğun token başına 300'den fazla parametre tuttuğunu (Chinchilla oranının yaklaşık 7.000 katı) göstermektedir. Çoklu-epoch (multi-epoch) rejiminde optimal performans için parametre sayılarını büyüklük mertebeleriyle artırmalıyız.

Hesaplama gücü, yüksek kaliteli dil eğitim verisi arzından çok daha hızlı büyümektedir (Villalobos vd., 2024). Bu nedenle dil modelleri giderek daha fazla veri kısıtlı ve çoklu-epoch rejiminde eğitilecektir. Bu rejimi doğrudan incelemek ve pratik model geliştirme süreçlerine uyarlamak için sabit veri kümeleri üzerinde, farklı veri boyutları, model boyutları ve epoch sayılarında Transformer modelleri eğiterek kaybın her bir değişkene nasıl bağlı olduğunu modelliyoruz. Ayrıca her eğitim koşusunda ağırlıkların ortalamasını alan snapshot ensembling tekniğini kullanarak, geliştiricilerin ek veri toplamadan mevcut veriden maksimum verim alabileceği bir optimizasyon çerçevesi çiziyoruz.