Latent-MoE: PyTorch ile FLOP ve Parametre Başına Optimal MoE Mimarisi

Latent-MoE Nedir ve Neden Popülerdir?

kyegomez/Latent-MoE, NVIDIA araştırmacılarının (Elango et al., 2026) LatentMoE: Toward Optimal Accuracy per FLOP and Parameter in Mixture of Experts makalesindeki mimariyi temel alan, PyTorch ile yazılmış tek dosyalık ve hafif bir kütüphanedir. Yapay zeka ve büyük dil modellerinde (LLM) Mixture of Experts (MoE) yapıları yaygınlaşırken, yüksek bellek ve GPU arası iletişim maliyetleri önemli bir darboğaz oluşturmaktadır. Latent-MoE, bu verimlilik sorununu çözerek geliştiricilere FLOP ve parametre başına daha yüksek başarım sunduğu için kısa sürede dikkat çekmiştir.

Geleneksel MoE modelleri, uzman katmanlarını (experts) doğrudan modelin yüksek boyutlu gizli alanında ((d)) çalıştırır. Latent-MoE ise token'ları önce paylaşımlı bir alt izdüşüm katmanıyla daha küçük bir gizli uzaya ((l = d / \alpha)) sıkıştırır. Uzman hesaplamaları bu küçük uzayda yapılıp tekrar orijinal boyuta dönüştürülür. İletişim ve bellek yükünde sağlanan bu tasarruf, uzman sayısını ((N' = \alpha \times N)) artırarak çok daha geniş bir uzman kombinasyon alanı yaratmak üzere yeniden yatırıma dönüştürülür.

Geliştiriciler İçin Değeri ve Özellikleri

Tek Dosyalı Mimari: Herhangi bir karmaşık bağımlılık gerektirmeden standart PyTorch projelerine doğrudan eklenebilir.
İki Farklı İyileştirme Modu:
- l-MoE_acc (Önerilen): Hesaplama maliyetini sabit tutarak model doğruluğunu maksimuma çıkaran Pareto-optimal mod.
- l-MoE_eff: Aynı doğruluk seviyesini korurken çıkarım (inference) maliyetini düşüren verimlilik modu.
Düşük Dağıtık Yük: GPU'lar arası all-to-all iletişim veri hacmini belirgin biçimde azaltır.

Pratik Kullanım Örneği

Latent-MoE katmanını PyTorch modellerinde kullanmak oldukça pratiktir:

import torch
from latent_moe import LatentMoE, LatentMoEConfig

config = LatentMoEConfig(
    d=2048,        # Gizli boyut
    m=1408,        # Uzman ara katman genişliği
    n_experts=64,  # Temel uzman sayısı
    top_k=6,       # Token başına aktif uzman sayısı
    alpha=4,       # Sıkıştırma faktörü (l = d / alpha)
    variant="acc"  # "acc" (yüksek doğruluk) veya "eff" (verimlilik)
)

layer = LatentMoE(config)
x = torch.randn(2, 128, 2048)  # (batch, seq, d)
y = layer(x)                   # (batch, seq, d)

Benzer Araçlarla Karşılaştırma

Standart MoE (Mixtral vb.): Hesaplamaları tam model boyutunda ((d)) yaptığı için bellek ve GPU iletişim trafiği çok yüksektir. Latent-MoE gizli uzay izdüşümüyle bu yükü (\alpha) kat hafifletir.
Dense FFN: Her token için tüm parametreleri aktif kılar ve yüksek FLOP tüketir. Latent-MoE dinamik uzman seçimi ve sıkıştırma sayesinde kaynağı çok daha verimli kullanır.
DeepSeek MoE: İnce taneli uzman mimarisi kullansa da orijinal vektör boyutunda kalır. Latent-MoE ise hem vektör boyutunu düşürür hem de daha zengin uzman bileşimleri sunar.

Orijinal repoya buradan ulaşabilirsiniz.

Latent-MoE Nedir ve Neden Popülerdir?

Geliştiriciler İçin Değeri ve Özellikleri

Tek Dosyalı Mimari: Herhangi bir karmaşık bağımlılık gerektirmeden standart PyTorch projelerine doğrudan eklenebilir.

İki Farklı İyileştirme Modu:

l-MoE_acc (Önerilen): Hesaplama maliyetini sabit tutarak model doğruluğunu maksimuma çıkaran Pareto-optimal mod.
l-MoE_eff: Aynı doğruluk seviyesini korurken çıkarım (inference) maliyetini düşüren verimlilik modu.

Düşük Dağıtık Yük: GPU'lar arası all-to-all iletişim veri hacmini belirgin biçimde azaltır.

Pratik Kullanım Örneği

Latent-MoE katmanını PyTorch modellerinde kullanmak oldukça pratiktir:

import torch
from latent_moe import LatentMoE, LatentMoEConfig

config = LatentMoEConfig(
    d=2048,        # Gizli boyut
    m=1408,        # Uzman ara katman genişliği
    n_experts=64,  # Temel uzman sayısı
    top_k=6,       # Token başına aktif uzman sayısı
    alpha=4,       # Sıkıştırma faktörü (l = d / alpha)
    variant="acc"  # "acc" (yüksek doğruluk) veya "eff" (verimlilik)
)

layer = LatentMoE(config)
x = torch.randn(2, 128, 2048)  # (batch, seq, d)
y = layer(x)                   # (batch, seq, d)

Benzer Araçlarla Karşılaştırma

Standart MoE (Mixtral vb.): Hesaplamaları tam model boyutunda ((d)) yaptığı için bellek ve GPU iletişim trafiği çok yüksektir. Latent-MoE gizli uzay izdüşümüyle bu yükü (\alpha) kat hafifletir.

Dense FFN: Her token için tüm parametreleri aktif kılar ve yüksek FLOP tüketir. Latent-MoE dinamik uzman seçimi ve sıkıştırma sayesinde kaynağı çok daha verimli kullanır.

DeepSeek MoE: İnce taneli uzman mimarisi kullansa da orijinal vektör boyutunda kalır. Latent-MoE ise hem vektör boyutunu düşürür hem de daha zengin uzman bileşimleri sunar.

Orijinal repoya buradan ulaşabilirsiniz.