EmbeddingGemma 2'yi Konuşmayı Metne Dönüştürme (STT) Modeline Dönüştürdük

Google'ın EmbeddingGemma 2 modeli aslında çok modlu bir gömme (embedding) modelidir. Geliştiriciler bu modeli doğrudan bir konuşmayı metne dönüştürme (speech-to-text / STT) modeline dönüştürdü. Bu yenilikçi yaklaşım sayesinde temel bir M3 MacBook Air üzerinde 1 saatlik ses kaydı, tamamen cihaz üzerinde (on-device) yaklaşık 13 saniyede metne dökülebiliyor. macOS 14+ ve Apple Silicon uyumlu uygulama, ilk açılışta 715 MB'lık modeli indirerek ücretsiz olarak çalışıyor.

Bir Gömme Modeli Konuşmayı Metne Dökebilir mi?#

EmbeddingGemma 2; metin, görsel, ses ve videoyu tek bir paylaşılan vektör uzayında temsil eden çok modlu bir modeldir. Bir kelimeyi sesli söylediğinizde, oluşan ses vektörü yazılı kelimenin vektörüne çok yakın bir konuma yerleşir. Geliştiriciler de bu ortak anlamsal uzaydan kelimeleri doğrudan okuma fikrini hayata geçirdi.

Nasıl Çalışıyor?#

Mimarinin çalışma prensibi ve geliştirme adımları şu şekildedir:

Temel kodlayıcı korunur: EmbeddingGemma 2'nin ses kodlayıcısı (audio encoder) hiçbir değişikliğe uğramadan olduğu gibi bırakılır.
Hafif okuyucu katmanı: Küçük bir okuyucu (reader), sesin her kısa dilimini modelin metin uzayına taşır.
En yakın kelime eşleşmesi: Yaklaşık 229.000 İngilizce kelime arasından ses dilimine en yakın olanı seçilir ve bu dilimler birleşerek transkripti oluşturur.
Biçimlendirme modeli: Oldukça küçük ek bir model noktalama işaretlerini ve büyük harfleri metne ekler.
Hızlı ve verimli eğitim: Temel model STT için hiç eğitilmemiştir; yalnızca aradaki okuyucu katmanı, açık lisanslı İngilizce seslerle 8×H100 üzerinde 2 saatten kısa bir sürede eğitilmiştir.

Yazılım geliştiriciler için buradaki pratik çıkarım; çok modlu embedding uzaylarının, devasa modelleri baştan fine-tune etmek yerine hafif bir projeksiyon katmanıyla tamamen farklı görevlere uyarlanabileceğini ve hesaplama maliyetini dramatik biçimde düşürdüğünü kanıtlamasıdır.

Ne Kadar Hızlı?#

Cihaz içi donanım hızlandırma testlerinde elde edilen sonuçlar:

Embedding Gemma Transcribe: Neural Engine (Temel M3 MacBook Air, 8 GB) ile 288× gerçek zamanlı hız (1 saatlik ses 12,6 saniyede).
IBM Granite Speech 5.0 TurboCTC: GPU / MLX (Temel M3 MacBook Air, 8 GB) ile ~150× hız (1 saatlik ses 25,7 saniyede).
NVIDIA Parakeet TDT 0.6B v3 (FluidAudio): Neural Engine (M4 Pro) ile 156× hız.
NVIDIA Parakeet TDT 0.6B v3 (FluidAudio): Neural Engine (M5 Pro) ile 335× hız.
Phonon-2 (Parakeet v3 fine-tune): Neural Engine (M5 Pro) ile 480× hız.

(Not: "× gerçek zamanlı", işleme saniyesi başına düşen ses süresini ifade eder. İlk iki satır temel M3 MacBook Air testleridir; 3–5. satırlar FluidAudio'nun daha güçlü Mac'lerdeki kıyaslama verileridir.)

Şu Anki Durumu#

Modelin kelime hata oranı (WER) şu anda yaklaşık %5 seviyesindedir; önde gelen konuşma modellerinde bu oran %2–3 bandındadır. Geliştiriciler, daha iyi eğitilmiş bir okuyucu katmanıyla sonraki iterasyonda bu farkın kapatılabileceğini öngörmektedir.

Nasıl Kullanılır?#

Bir ses dosyasını sürükleyip bırakabilir veya Sağ Option tuşuna basılı tutarak herhangi bir uygulamaya doğrudan sesle dikte yapabilirsiniz. Model doğrudan Mac'in Neural Engine biriminde çalıştığı için ses verileriniz asla cihaz dışına çıkmaz ve tam veri gizliliği sunar.