İçeriğe geç
edumintsBlog
DevOps3 dk okuma

Google AI Sınıfı Bölüm 3: Çok Modlu Orkestrasyon — Google Genkit ile Gemini 4 Argon, Gemini 3.8 Flash ve Cihaz İçi Gemma 4 E2B Modellerini Doğru Boyutlandırma

Kaynak: dev.to

Paylaş
İçindekiler 2 başlık

40 ila 100'den fazla eşzamanlı öğrencinin bulunduğu yapay zeka destekli bir bilgisayar bilimi veya mühendislik sınıfını yönetirken; canlı ders anlatımı, kapsayıcı öğrenme, öğrenci performans değerlendirmesi ve gözetimli sınavları desteklemek radikal biçimde farklı gecikme süresi (latency), bağlam penceresi (context-window) ve FinOps profilleri gerektirir. Google Developer Expert ve HKIIT Kıdemli Öğretim Görevlisi Cyrus Wong tarafından kaleme alınan bu mimari yaklaşım, doğru göreve doğru modeli seçmenin (Modeller: Hangisi, Ne Zaman?) önemini dört temel senaryo üzerinden ortaya koymaktadır:

  • Öğrenci Dizüstü Bilgisayarında Her 16ms–3s (Gerçek Zamanlı Gözetimli Sınav İncelemesi): Uygulamalı bir sınav sırasında insan gözetmen 40'tan fazla ekranı ve web kamerasını aynı anda izleyemez. 40 koltuk için her saniye bulut API'lerini çağırmak sınav başına 432.000'den fazla bulut çağrısı gerektirir. Yüksek frekanslı duruş, bakış ve konuşma niyeti incelemesi; MediaPipe, LiteRT Whisper-Tiny ve LiteRT-LM Gemma 4 E2B (gemma-4-E2B-it-web.litertlm) aracılığıyla tarayıcıda yerel olarak 0,00 $ API maliyetiyle çalışmalı ve yalnızca bir usulsüzlük doğrulandığında senkronize ekran, kamera ve ses kanıtlarını buluta yüklemelidir.
  • Ders Kürsüsünde Her 4 Saniyede Bir (Kapsayıcı Öğretim ve Canlı Anlama Kontrolleri): Eğitmen İngilizce Kubernetes/React jargonuyla karışık Kantonca konuştuğunda, öğrencilerin ekranlarında 800 milisaniyenin altında 9 dilde altyazıya ihtiyaç duyulur. Bu düşük gecikmeli senaryo için Gemini 3.5 Flash-Lite (gemini-3.5-flash-lite) (1M token başına 0,25 $ Giriş / 1,50 $ Çıkış) veya cihaz içi Gemma 4 E2B idealdir.
  • Standart Öğrenci Performans Videosu Notlandırma ve Tüm Ders Altyazı Üretimi: 45 dakikalık 1-FPS öğrenci laboratuvar kaydını rubriğe göre değerlendirmek veya 3 saatlik Opus ders ses akışından iki dilli altyazılar ve YouTube çalışma bölümleri oluşturmak dengeli bir çok modlu işlem hacmi gerektirir. Burada Gemini 3.8 Flash (gemini-3.8-flash) (1M token başına 0,50 $ Giriş / 3,00 $ Çıkış) öne çıkar.
  • Karmaşık Rubrik Sentezi, Çok Adımlı Kod Değerlendirmesi ve Bitirme Projesi Denetimi (Sınır Akıl Yürütme): Bir eğitmen tanıtım videosundan kısmi puanlama rubriği sentezlemek, karmaşık kodlama performansını değerlendirmek, 60 haftalık bitirme projesi (capstone) kaydını canlı 720p mobil donanım demolarıyla denetlemek veya JSON şemalı istemleri meta-optimize etmek istediğinde; 1 milyon tokenlık paylaşımlı çok modlu bağlam penceresi ve derin akıl yürütme yetenekleriyle Gemini 4 Argon (gemini-4-argon) (1M token başına 2,00 $ Giriş / 10,00 $ Çıkış) devreye girer.

Vertex AI'da Gemini 4 (gemini-4-argon) ve LiteRT-LM WebGPU üzerinden tarayıcıda Gemma 4 E2B modellerinin sunulmasıyla birlikte, functions/ai_flows/ altındaki Google Genkit orkestrasyon katmanı; parametre temizleme, titreşimli (jitter) üstel geri çekilme, modeller arası hata toleransı (failover) ve gerçek zamanlı FinOps kota yönetimini otomatik olarak uygulayacak şekilde tasarlanmıştır.

2. Mimari Derinlemesine Bakış: 5 Modelli Uçtan Buluta Doğru Boyutlandırma Matrisi#

Arka uçta tek bir model kimliğini sabit kodlamak (hardcoding) yerine, Katman-1 Tarayıcı WebGPU Çalışanlarından Katman-4 Google Genkit Bulut Fonksiyonlarına uzanan 5 Modelli Doğru Boyutlandırma Mimarisi inşa edilmiştir. Eğitmenler ClassManagement.jsx içinde sınıf genelinde varsayılan bir model yapılandırabilir ve bunu herhangi bir özellik stüdyosunda anında geçersiz kılabilir. Depodaki her yapay zeka iş akışı Gemini 4 Argon, Gemini 3.8 Flash ve diğer yüzeyleri esnek biçimde sunar.

Geliştiriciler İçin Pratik Çıkarımlar#

Üretim ortamında ölçeklenebilir yapay zeka sistemleri (Ölçeklendirme ve Optimizasyon) tasarlarken tüm yükü en büyük modele yıkmak yerine; yüksek frekanslı işlemleri uç cihazlara (Edge Runtime) taşımak ve bulut tarafında yedekli (failover) orkestrasyon kurmak hem maliyeti hem de gecikmeyi dramatik biçimde düşürür.

Kaynak ve atıf

Bu yazı, dev.to üzerinde yayımlanan içerikten yararlanılarak Edumints tarafından yapay zekâ desteğiyle Türkçe hazırlandı. Ayrıntılar ve yazarların kendi anlatımı için orijinaline bakabilirsin:

  • dev.to/gde/google-ai-classroom-part-3-multimodal-orchestration-right-sizing-gemini-4-argon-gemini-38-538b