LLM Eğitim Sonrası Süreçlerinde Ağırlık Silmenin Şaşırtıcı Etkinliği

Çok Az Değişiklikle Yeni Yetenekler Kazanmak Mümkün mü?#

Önceden eğitilmiş büyük bir dil modelinin (LLM) yeni yetenekler kazanması için ne kadarının değişmesi gerekir? Yapılan araştırmalar, başka hiçbir değişiklik yapmadan model ağırlıklarının %0,05'inden daha azını sıfırlamanın, ölçekli uygulamalarda tam ince ayar (Full Fine-Tuning - FFT) ile aynı performansı yakaladığını göstermektedir. Bu başarı, üç temel LLM eğitim sonrası (post-training) rejiminde kanıtlanmıştır:

Doğrulanabilir ödüllerle pekiştirmeli öğrenme (Reinforcement learning with verifiable rewards)
Gözetimli ince ayar (Supervised fine-tuning - SFT)
Politika içi damıtma (On-policy distillation)

Deletion Tuning (Silme İnce Ayarı) adı verilen bu yöntem, dönüştürücü (transformer) bloklarının kapı projeksiyonu (gate projection) üzerinde ikili bir maske (binary mask) öğrenerek çalışır. Yani ağırlıkları karmaşık matrislerle güncellemek yerine, sadece hangi bağlantıların susturulacağını seçer.

Pratik Avantajlar ve Sürekli Öğrenme#

Deletion Tuning yöntemi, yazılım ve yapay zeka mühendisliği süreçlerinde doğrudan uygulanabilecek iki büyük pratik avantaj sunar:

Ultra Küçük Boyutlu Kontrol Noktaları (Checkpoints): Eğitilen ikili maske, karşılık gelen bir FFT kontrol noktasından yüzlerce ila binlerce kat daha küçüktür. Bu durum, özellikle bulut depolama maliyetlerini düşürmek, versiyon kontrolünü hızlandırmak ve aynı temel model üzerinde yüzlerce farklı görev maskesini bellekte kolayca sunmak (multi-tenant serving) isteyen geliştiriciler için devrim niteliğindedir.
Yıkıcı Unutmanın (Catastrophic Forgetting) Önlenmesi: Sürekli öğrenmenin (continual learning) en merkezi zorluklarından biri olan "eski bilgileri unutma" sorunu bu yöntemle büyük ölçüde aşılır. Pekiştirmeli öğrenme altında, modelin önceki görevlerdeki doğruluğu temel model seviyesine çok yakın kalırken; FFT, LoRA ve rastgele seyrek ince ayar (random sparse fine-tuning) yöntemleri 5,4 puana kadar kayıp yaşamaktadır.

Neden Sadece Maskeleme Yeterli Oluyor?#

Tek başına ağırlık maskelemenin nasıl bu kadar etkili olabildiğini anlamak için, pekiştirmeli öğrenme altında öğrenilen ağırlık değişimlerinin geometrisi üç temel metrik kullanılarak analiz edilmiştir:

Kararlı sıra (Stable rank)
Spektrum kayması (Spectrum drift)
Temel ağırlık örtüşmesi (Principal-weight overlap)

LoRA ve rastgele seyrek ince ayar ile karşılaştırıldığında, Deletion Tuning her üç ölçümde de tam ince ayara (FFT) en yakın geometriyi sergileyen yöntemdir.

Geliştiriciler İçin Pratik Çıkarımlar#

Üretim ortamında model özelleştiren ekipler için bu bulgular önemli bir paradigma değişimine işaret etmektedir. Yeni bir yetenek eklerken modelin mevcut genel zekasını ve eski görevlerdeki başarısını korumak kritikse, LoRA veya FFT yerine maskeleme tabanlı yaklaşımlar çok daha güvenli bir liman sunar. Ayrıca, devasa model ağırlıklarını taşımak yerine sadece küçük ikili maskeleri dağıtmak, MLOps ve dağıtım (deployment) boru hatlarını radikal biçimde hafifletecektir.

Bu konuyu derinlemesine öğrenmek isterseniz: Axolotl ve torchtune ile Pratik Çok-GPU Fine-Tuning modülüne göz atın.