MoE Modellerini Küçültürken Uzman Ortaklıklarını Korumak: HOPE Yaklaşımı

Yüz milyarlarca parametreli Mixture-of-Experts (MoE) dil modellerini çalıştırırken karşılaşılan en büyük engel bellek tüketimi. Çıkarım (inference) sırasında herhangi bir token için uzmanların (expert MLP) büyük çoğunluğu boşta bekler. Buna rağmen hepsi bellekte yer kaplar. Örneğin Qwen3.5-122B modelinde 48 MoE katmanı ve her katmanda 256 uzman bulunur. Modelin yaklaşık 250 GB tutarındaki parametre belleği ayak izinin %95'ini tek başına bu uzman MLP'ler doldurur. Oysa gelen her bir token için katman başına yalnızca 8 uzman gerçekten kullanılır.

Tekil Puanlama Neden Eksik Kalıyor?#

Standart bir MoE katmanında $E$ adet uzman yer alır ve her girdi token'ı $x$, bağımsız olarak $K$ uzmana yönlendirilir ($K = 8$ tipik bir seçimdir). Yönlendirme katmanı, her uzman $k$ için softmax ile normalize edilmiş $g_k(x)$ kapı ağırlıklarını üretir ve en yüksek ağırlığa sahip $K$ uzman seçilerek aktif uzman kümesi $T(x) \subset {1, .., E}$ oluşturulur. Katmanın çıktısı da aktif uzmanların çıktıları olan $f_k(x)$ değerlerinin kapı ağırlıklarıyla çarpılıp toplanmasıyla, yani $\sum_{k \in T(x)} g_k(x) f_k(x)$ formülüyle hesaplanır.

Bellek darboğazını aşmanın en doğrudan yolu uzman budamadır (expert pruning). En az işe yarayan uzmanları kalıcı olarak silen bu işlem, ek eğitim gerektirmez. Uzmanları dinamik olarak belleğe yükleyip boşaltmanın yarattığı gecikme sorunlarına yol açmadığı gibi nicemleme (quantization) teknikleriyle de birlikte çalışır. Ancak hangi uzmanların güvenle silineceğine karar vermek zordur. Mevcut budama yöntemleri her uzmanı tek başına değerlendirir. Bir kalibrasyon veri kümesi üzerinden her uzmana tekil (skaler) bir önem puanı verip her katmandaki en düşük puanlı uzmanları kesip atarlar. Birinci dereceden (first-order) olarak adlandırılan bu yöntemler, her uzmanın modele katkısını diğerlerinden bağımsız varsayar.

Uzmanlar Takım Halinde Çalışır: HOPE Devrede#

Model içindeki uzmanlar tek başına çalışmaz. Deneyler, birlikte aktifleşen uzmanların tutarlı kümeler oluşturduğunu ve bu iş birliğinin MoE modellerinin kararlı bir özelliği olup model performansı için önem taşıdığını gösteriyor. Birinci dereceden yöntemler bu etkileşimleri yok saydığı için özellikle yüksek budama oranlarında beklenen sonucu veremiyor.

Amazon araştırmacılarının geliştirdiği HOPE (Higher-Order Pruning of Experts), tam bu noktada devreye giren ikinci dereceden (second-order) bir budama yöntemi. Uzmanları tek tek puanlamak yerine ikili uzman etkileşimlerini (pairwise interactions) hesaba katarak hangi uzmanların birlikte çalıştığını gözetiyor. Sayılar da bu yaklaşımın farkını ortaya koyuyor:

• %50 budama oranında HOPE, mevcut tüm yöntemler arasında en iyi ortalama sıralamayı elde ediyor.
• Ajan tabanlı kodlama (agentic coding) görevlerinde, kendisinden sonraki en iyi budama yöntemine kıyasla +%6,1'e varan performans artışı sağlıyor.

Geliştiriciler İçin Pratik Çıkarımlar#

Büyük bir MoE modelini donanım sınırlarına sığdırmaya çalışırken başvurabileceğin temel adımlar ve çıkarımlar şöyle:

• Eğitimsiz küçültme uygula: MoE modellerinde parametre belleğinin %95'e varan kısmını uzman katmanları oluşturduğundan, yeniden eğitim maliyeti olmadan modeli küçültmek ve dinamik yükleme gecikmelerinden kaçınmak için doğrudan uzman budamayı tercih edebilirsin.
• Nicemleme ile birleştir: Budama işlemi quantization ile uyumlu çalıştığından, modeli küçültürken iki tekniği bir arada kurgulayabilirsin.
• Agresif budamada etkileşimleri koru: Modeli yarı yarıya (%50 gibi yüksek oranlarda) küçültmen gerektiğinde uzmanları birbirinden bağımsız sayan birinci dereceden yöntemler yerine, ikili uzman ortaklıklarını koruyan HOPE gibi ikinci dereceden yaklaşımları seçmelisin. Özellikle ajan tabanlı kodlama görevlerinde çalışan bir model hazırlıyorsan, birlikte aktifleşen uzman kümelerini bozmamak doğrudan çıktı kalitesini koruyacaktır.

---

Bu konuyu derinlemesine öğrenmek istersen: Ölçeklendirme ve Optimizasyon modülüne göz at.