Gemma 4 ve Raspberry Pi ile Masaüstü Robot Arkadaşı Geliştirmek

Gün boyunca sizi izleyen bir kamera olmadan, çalışma masanızda retro bir oyun karakteri hissi veren, sayaçlarınızı takip eden ve zorlu bir kodlama hatasında size rehberlik edebilen küçük bir masaüstü arkadaşı hayal ettiniz mi? DinoDesk AI projesi bu sorudan yola çıkarak geliştirildi. LEGO Technic mekaniğini, 8-bit ses ve görüntü nostaljisini modern bir Hibrit LLM Geçiş Mimarisi (Yerel ↔ Bulut) ile harmanlayan, düşük güç tüketimli bir masaüstü robotu oluşturuldu. Masada konumlanan Raspberry Pi ile yerel PC üzerinde çalışan Gemma 4 ve Gemini Flash modelleri eşleştirilerek; %100 görsel gizlilik, sıfır maliyetli anlık yerel sohbet ve ihtiyaç duyulduğunda derin bulut muhakemesi sağlandı.

1. Hibrit Beyin: Yerel Gemma 4 ↔ Bulut Gemini

Donanım tabanlı bir yapay zekâ asistanı geliştirirken en önemli ikilem, modelin nerede barındırılacağıdır. Sistemin tamamen bulutta çalışması; her basit soruda API token maliyeti, ağ gecikmesi ve ses verisinin internete aktarılması anlamına gelir. Yalnızca cihaz üzerindeki küçük bir yerel modelle yetinmek ise karmaşık kod bloklarını açıklama veya derin mantıksal çıkarım yapma noktasında tıkanıklık yaratır.

Bu dengeyi kurmak için kullanıcının ana bilgisayarında barındırılan Birleşik LLM Ağ Geçidi (Unified LLM Gateway) mimarisi tasarlandı. Raspberry Pi, aktif motordan bağımsız olarak Wi-Fi üzerinden standart OpenAI uyumlu akış istekleri gönderir. Sistem üç farklı zekâ modu sunar:

Yerel Mod (Varsayılan): LM Studio üzerinden çalışan Gemma 4 modelini kullanır. Sıfır maliyet, çevrimdışı çalışma ve %100 gizlilik sağlar. Günlük sohbetler, masaüstü zamanlayıcıları ve hızlı kontroller için yaklaşık 200 ms ilk token gecikmesi sunar. Butona çift tıklayarak, dokunmatik sensöre basarak veya sesli komutla geçiş yapılabilir.
Bulut Modu: Gemini Flash / Gemini Live modellerini devreye sokar. Kodlama desteği, karmaşık matematik problemleri ve derinlemesine açıklamalar için yüksek akıl yürütme sunar (~800 ms ilk token). Donanım butonları veya ses tetikleyicileriyle aktif edilir.
Otomatik Hibrit Mod: Akıllı yönlendirme mekanizmasıdır. Temel sorgularda Gemma 4 devrededir; ancak karmaşıklık sınıflandırıcısı "açıkla", "karşılaştır" veya "kod yaz" gibi çok adımlı akıl yürütme ifadeleri algıladığında sorguyu şeffaf şekilde Gemini Flash'a aktarır. Yönlendirme sırasında robotun göstergesi yeşilden altın sarısına dönerek kullanıcıya bulut geçişini bildirir.

Yazılım Geliştirme ve Öğrenme Çıkarımları

Model Kademelendirme (Tiering): Basit görevleri yerel hafif modellerde (Gemma 4), maliyetli ve karmaşık görevleri bulut modellerinde (Gemini Flash) çözmek; gecikmeyi ve API maliyetlerini düşüren en etkin üretim mimarisidir.
Ağ Geçidi ile İstemci İzolasyonu: İstemcinin (Raspberry Pi) yalnızca tek bir OpenAI uyumlu arayüzle haberleşmesi, model değişimlerini ve yönlendirme mantığını istemci kodundan tamamen soyutlar.
Donanım Seviyesinde Gizlilik ve Gözlemlenebilirlik: Kamera kullanmayarak gizliliği korumak ve model geçişlerini LED renkleriyle kullanıcıya hissettirmek, güvenilir uç yapay zekâ uygulamaları için harika bir referans sunar.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.