Gemma-4 Modellerini AWS Inferentia2 Donanımına Taşımak: Mühendislik Notları ve Çıkarımlar

Bu makalede, Google’ın Gemma-4 model ailesini (E2B, E4B ve 12B) AWS Inferentia2 donanımına taşırken karşılaşılan zorluklar, üretilen çözümler ve geliştiriciler için pratik çıkarımlar derlenmiştir.

1. Arka Plan: Bu Taşımacılık Neden Zor?

Gemma-4; PLE (Katman Başına Gömme), katmanlar arası KV-paylaşımı, GQA ve logit soft-capping gibi TPU odaklı özelliklere sahiptir. Standart AWS Neuron SDK araçları (optimum-neuron, NxD) bu mimariyi doğrudan desteklememektedir.

Pratik Çıkarım: Üretici kütüphanelerine bağımlı kalmak yerine, model mimarilerini ve hedef donanım sınırlarını temel düzeyde anlamak kritik bir geliştirme becerisidir.

2. "Karışık Kafaların" (Mixed Heads) Üç Farklı Yüzü

Taşıma sürecinin en büyük zorluğu; katmanlar arası KV-paylaşımı, GQA oranları ve farklı KV kafa sayıları içeren mimarilerdir. Donanım paralelleştirmesinde kafa sayıları doğru şekilde eşleştirilmelidir.

Pratik Çıkarım: Paralelleştirme yaparken şablon kodları doğrudan uygulamak yerine, donanım rank'leri ve kafa sayıları arasındaki matematiksel ilişkileri doğrulayarak ilerleyin.

3. Neden Hazır vLLM ve NxD Çözümleri Yetersiz Kaldı?

Standart kütüphaneler Gemma-4’ün katmanlar arası KV-paylaşım ilişkilerini statik grafiklere dökemez. Çözüm, bu soyutlama katmanlarını baypas ederek modeli torch_neuronx ile doğrudan izlemek (tracing) olmuştur.

Pratik Çıkarım: Gelişmiş donanım entegrasyonlarında yüksek seviyeli araçlar yetersiz kaldığında, doğrudan kod izleme ve graf derleme (tracing) yaklaşımlarına yönelmelisiniz.

4. Neuron Derleyicisinin (neuronx-cc) Sınırları

On-chip SRAM (SBUF) limitleri nedeniyle PLE tabloları ana belleğe (host CPU) taşınmış ve logit soft-capping graf dışına alınmıştır.

Pratik Çıkarım: Bellek sınırlarını aşmak için monotonic (tekdüze) fonksiyonların argmax üzerindeki etkisizliğinden yararlanmak gibi matematiksel optimizasyonları kullanın.

5. Cihaz Üzerinde KV Önbelleği (Device-Resident KV) ve Prefill

Verimi artırmak için KV önbelleği cihazda tutulmalıdır. E4B ve 12B modelleri için prefill ve decode modellerini birleştiren ModelBuilder tasarımı kullanılmıştır.

Pratik Çıkarım: Gecikmeyi azaltmak için işlem birimi (accelerator) ile host arasındaki veri transferini en aza indirecek bellek yerleşimi stratejileri geliştirin.

6. Greedy Decode Sonuçları

Cihaz üzerinde yapılan çıkarımlarda greedy decode, CPU referansı ile birebir eşleşmiş ve E2B modelinde saniyede 44 tokene ulaşılmıştır.

Pratik Çıkarım: Çıkarım optimizasyonları yaparken, model doğruluğunu garanti altına almak için CPU referans testlerini boru hattınıza dahil edin.

7. Kritik Operasyonel Tuzaklar

Eksik bir tokenizer.json dosyası gibi ufak hatalar, donanım arızası gibi görünüp vakit kaybettirebilir. Ayrıca inf2.xlarge üzerinde neff yükleme aşaması için swap (takas alanı) aktifleştirilmelidir.

Pratik Çıkarım: Donanımsal hatalardan şüphelenmeden önce veri giriş boru hatlarını (tokenizer) ve işletim sistemi seviyesindeki RAM/Swap yapılandırmalarını kontrol edin.

8. Genel Çıkarımlar ve Hata Ayıklama

Hata ayıklarken her zaman CPU doğrulaması kullanın. Sadece trace sonuçlarını değil, nihai üretim (production) dağıtım ortamını test edin.

Pratik Çıkarım: Geliştirme ortamındaki yeşil test raporları yanıltıcı olabilir; ürünü tam olarak son kullanıcının çalıştıracağı biçimde ve ortamda test edin.

9. Yayınlanan Kaynaklar (Artifacts)

Hugging Face ve Docker Hub üzerinde çalışmaya hazır neff derlemeleri ve düşük RAM kullanan sunucu şablonları (slim) yayınlanmıştır.

Pratik Çıkarım: Taşınabilir Docker imajları oluşturarak donanım bağımlılıklarını izole edin ve diğer ekiplerin projeyi hızlıca devreye almasını sağlayın.

10. Kısıtlamalar ve Gelecek Çalışmalar

Mevcut portta batch size 1 ile sınırlıdır ve sürekli gruplama (continuous batching) yoktur. Gelecekte multimodal (ses/görsel) yolların entegrasyonu planlanmaktadır.

Pratik Çıkarım: LLM optimizasyonu yaparken dinamik bağlam yönetimi ve batching gibi özellikleri mimari tasarıma en baştan dahil edin.

Orijinal makaleye buradan ulaşabilirsiniz.