Tekrarlanan Veriyle Ön Eğitimi Ölçeklendirme: Batch Size, Düzenlileştirme ve GPU-Zaman Dengeleri

Sonsuz Hesaplama Sınırları ve Örtük Düzenlileştirme#

Hesaplama kapasitesinin yüksek ancak benzersiz eğitim verisinin sınırlı olduğu durumlarda, aynı verinin birden fazla epok boyunca tekrar tekrar işlenmesi zorunlu hale gelmektedir. Sonsuz hesaplama varsayımı altında ön eğitim dinamikleri incelendiğinde, doğrulama kaybı (validation loss) ile batch size arasında U şeklinde bir ilişki gözlemlenmektedir. Geleneksel tek geçişli ön eğitim yaklaşımlarının aksine, tekrarlanan veri rejiminde daha küçük batch boyutları belirgin bir avantaj sağlamaktadır. Bunun temel nedeni, küçük batch'lerin ürettiği gradyan gürültüsünün model üzerinde örtük bir düzenlileştirme (implicit regularization) etkisi yaratarak aşırı uyumu (overfitting) sınırlandırmasıdır.

Tek geçiş varsayımına göre optimize edilen geleneksel eğitim tariflerinin çoklu epok senaryolarında yeniden yapılandırılması gerekir. Bu doğrultuda öne çıkan kritik optimizasyonlar şunlardır:

• Her epokta belgeleri yeni diziler halinde yeniden paketleme (Document Repacking): Token dizilimlerini her epokta farklı kombinasyonlarla bir araya getirmek, modelin ardışık bağlamları ezberlemesini engelleyerek genelleştirme kabiliyetini artırır.
• Ağırlık bağlama (Weight Tying): Giriş ve çıkış gömme (embedding) matrislerini paylaşarak hem parametre sayısını optimize etmek hem de temsil uzayında yapısal bir düzenlileştirme kurmak.
• Pozitif gömme ağırlık azalımı (Positive Embedding Weight Decay): Gömme katmanlarına pozitif ağırlık azalımı uygulayarak katsayıların kontrolsüz büyümesini frenlemek ve model kararlılığını korumak.

Gerçek Dünya Kısıtları: GPU ve Zaman Dengesi#

Sonsuz hesaplama varsayımı terk edildiğinde, donanım kaynakları ile takvim kısıtları arasındaki ayrım netleşir. Tipik standartlardan daha küçük batch boyutları kullanmak, toplam adım sayısını artırarak sıralı eğitimin aşırı uzamasına neden olabilir. Bu tablo, GPU kümesini ve zamanı birbirine feda edilebilen iki ayrı kaynak olarak ele almayı gerektirir. Sıkı teslim süreleri daha büyük batch boyutlarını ve gecikme odaklı paralelleştirmeyi teşvik etse de, şaşırtıcı bir denge söz konusudur: Sabit bir zaman bütçesinde bile daha az GPU ile koşturulan küçük bir batch boyutu, daha çok GPU kullanan büyük bir batch'e kıyasla daha düşük doğrulama kaybına ulaşabilmektedir. Bu bulgu, teslim süresini yetiştirmek için veri paralelliğini artırarak GPU kümesini maksimize etme yönündeki geleneksel MLOps refleksini doğrudan sorgulamaktadır.

Yazılım ve MLOps Açısından Pratik Çıkarımlar#

Veri kısıtlı ortamlarda LLM eğiten mühendisler için bu bulgular somut bir yol haritası sunar. Veri yükleyici (dataloader) katmanına her epokta dinamik paketleme mantığı entegre edilmeli, sırf donanım kullanım oranını (%100 GPU utilization) yakalamak adına batch boyutu körü körüne büyütülmemelidir. Küçük batch'lerin sunduğu gradyan gürültüsü avantajını korumak, aşırı GPU maliyetine girmeden daha yüksek model performansı elde etmenin anahtarıdır.

Orijinal makaleye buradan ulaşabilirsiniz.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.