Tek Bir TPU v5e Üzerinde Gemma 4 E2B'ye Karşı Küçük Apache-2.0 Modelleri: Hangileri Ayak Uydurabiliyor?

Bu makale, tek bir Google Cloud TPU v5e çipi üzerinde vLLM aracılığıyla küçük açık ağırlıklı modellerin taranmasını ve temel referans olarak Gemma 4 E2B ile karşılaştırılmasını adım adım inceliyor. İncelenen tüm modeller serbestçe yeniden dağıtılabilen ticari dostu Apache-2.0 veya MIT lisanslarına sahiptir. Modeller aynı sabitlenmiş imaj ve yapılandırmayla sunulup doğrudan kod ile test edilerek puanlanmaktadır.

Gemma 4 E2B, tek bir v5e-1 üzerinde çalışabilecek boyuttadır; ancak dikkat mekanizması sıra dışıdır: Kayan pencere katmanları için 256, tam dikkat katmanları için 512 başlık boyutu, tek bir KV başlığı ve 35 katmandan 20'sinin başka bir katmanın KV önbelleğini okuması. Buradaki temel mühendislik sorusu, standart mimarili hangi modellerin onun yerini tutabileceğidir. Sonuçlara göre Qwen3-4B, 0.57x çıktı hızında her iki doğruluk testinde de Gemma'yı yakalamaktadır. SmolLM3-3B ve Granite 3.3 2B ise sırasıyla 0.76x ve 0.93x hız oranlarıyla araç çağrılarında (tool calling) Gemma ile eşleşmektedir. Uzun prompt senaryolarında ise Gemma benzer doğruluk seviyesindeki tüm modellerin önünde kalmayı sürdürmektedir.

Neden Tek Bir v5e Çipi?#

Google Cloud'un en ekonomik çözümü olan v5litepod-1, us-west4-a bölgesinde genellikle flex-start kapasitesi olarak kiralanabilir. 15.75 GiB HBM belleğe sahiptir ve vLLM bunun %90'ını tahsis eder. Dolayısıyla bf16 formatındaki bir modelin KV önbelleğine pay bırakabilmesi adına yaklaşık 14 GiB içine sığması gerekir. Bu durum aday havuzunu yaklaşık 4 milyar parametreyle sınırlar. Gemma 4 E2B, bu çip üzerinde 8.97 GiB yer kaplayarak serideki en büyük modellerden biridir.

Başlamadan Önce Hazır Olması Gerekenler#

Cloud TPU API'si etkinleştirilmiş ve us-west4-a bölgesinde flex-start TPU v5e kotasına sahip bir Google Cloud projesi
Sonuçlar için bir GCS depolama alanı ve Secret Manager içinde hf-token adıyla saklanmış Hugging Face erişim belirteci
Alpha bileşenleri kurulu gcloud ve ek paketsiz temiz bir Python 3 ortamı
Kod deposunun klonu: git clone https://github.com/xbill9/model-sweep

Adım 1 — Hub Üzerinden Model Listesini Oluşturma#

survey.py betiği, Hugging Face API'si üzerinden lisans, mimari ve ağırlık boyutunu tarar. Bir modelin listeye girebilmesi için Apache-2.0 veya MIT lisanslı olması ve en az 2 GiB KV önbellek payı bırakması gerekir. TPU üzerindeki vLLM, bazı mimarileri yerel JAX (Tier 1), bazılarını ise PyTorch fallback (Tier 2) olarak çalıştırır. Lisans kısıtı nedeniyle Qwen2.5-3B, bellek yetersizliğinden Qwen3-8B elenir; geriye 8 Tier 1 ve 7 Tier 2 model kalır.

Adım 2 — Her Modeli Tek Satırda Tanımlama#

Modeller .arms dosyalarında tek satırda tanımlanır: kontrol noktası (checkpoint), test donanım adı, ölçülecek kıstaslar (load+long+gen) ve servis parametreleri. Araç çağırma ayrıştırıcısı (parser=gemma4 veya parser=hermes) ve düşünme anahtarları (nothink) model ailesine göre farklılaşır.

Geliştirici Çıkarımları ve Pratik Notlar#

Kısıtlı donanımlarda model seçerken salt parametre sayısı değil; KV önbellek ayak izi ve çalışma zamanı desteği (JAX vs PyTorch fallback) gözetilmelidir. Standart mimariler araç çağırmada maliyet avantajı sağlarken, özelleşmiş dikkat katmanları uzun bağlamlı iş yüklerinde belirleyici performans sunar.

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.