Gemma 2 ile Gerçek Zamanlı ve Bulutsuz ASL Tercümanı Geliştirmek

Dünya genelinde milyonlarca insan iletişim kurmak için Amerikan İşaret Dili (ASL) kullanıyor, ancak bu dili bilmeyenlerle iletişim kurmak her zaman büyük bir zorluk teşkil ediyor. Google'ın Gemma4 yarışması kapsamında geliştirilen bu proje, bulut tabanlı bir yapay zekaya ihtiyaç duymadan, tamamen yerel cihaz üzerinde çalışan gerçek zamanlı bir ASL tercümanının nasıl inşa edilebileceğini gözler önüne seriyor.

1. Problem ve Motivasyon

İşaret dili tercümesi için genellikle yüksek gecikmeli bulut servisleri veya pahalı donanımlar kullanılır. Bu durum, hem gizlilik endişelerini beraberinde getirir hem de internet bağlantısının olmadığı durumlarda sistemi kullanılamaz kılar. Geliştirici, bu engelleri aşmak için Gemma 2 2B modelinin gücünü kullanarak erişilebilir bir çözüm üretmeyi hedeflemiştir.

2. Teknik Mimari: MediaPipe ve Gemma İş Birliği

Projenin kalbinde iki temel bileşen yer alıyor: MediaPipe Hand Landmarker ve Gemma 2. Süreç şu şekilde işliyor:

Görüntü İşleme: Web kamerası üzerinden alınan görüntü MediaPipe ile işlenerek elin 21 farklı eklem noktası (landmarker) tespit ediliyor.
Veri Dönüştürme: Bu koordinatlar, işaretin anlamlandırılması için optimize edilmiş bir veri yapısına dönüştürülüyor.
Yapay Zeka Yorumu: Gemma 2 (2B) modeli, bu ham koordinat verilerini veya tespit edilen hareketleri anlamlı kelimelere ve cümlelere dönüştürüyor.

3. Neden Bulutsuz (Local) AI?

Gemma 2'nin 2 milyar parametreli (2B) küçük versiyonu, tarayıcı üzerinde veya düşük donanımlı cihazlarda çalışabilecek kadar verimlidir. Projenin "no-cloud" olması şu avantajları sağlar:

Gizlilik: Kullanıcının video verisi hiçbir zaman sunucuya gönderilmez.
Sıfır Gecikme: Veriler yerelde işlendiği için gerçek zamanlı akıcılık sağlanır.
Maliyet: API ücretleri veya sunucu bakım masrafları ortadan kalkar.

4. Yazılım Geliştirme ve Öğrenme Açısından Çıkarımlar

Bu proje, modern yazılım dünyasında Edge AI (Uç Birim Yapay Zekası) kavramının ne kadar kritik hale geldiğini gösteriyor. Geliştiriciler için şu pratik çıkarımlar önemlidir:

Model Seçimi: Her problem için devasa modeller gerekmez; Gemma 2 2B gibi optimize edilmiş küçük modeller, belirli görevlerde şaşırtıcı derecede başarılıdır.
Hibrit Çözümler: Görüntü işleme gibi ağır yükleri MediaPipe gibi kütüphanelere bırakıp, anlamlandırma kısmında LLM (Büyük Dil Modelleri) kullanmak sistem performansını artırır.
Erişilebilirlik: Yapay zeka projelerinde sosyal fayda odaklı (erişilebilirlik gibi) yaklaşımlar, teknolojinin gerçek gücünü ortaya çıkarır.

5. Sonuç

Bulut gerektirmeyen bu ASL tercümanı, yapay zekanın sadece veri merkezlerinde değil, cebimizdeki cihazlarda da devrim yaratabileceğini kanıtlıyor. Erişilebilirliği artırmak için açık kaynaklı modellerin ve verimli kütüphanelerin birleşimi, geleceğin yazılım mimarilerini şekillendirecek.

Orijinal kaynağa buradan ulaşabilirsiniz.