Google AI Classroom Bölüm 2: Sıfır Veri Çıkışlı Tarayıcı İçi Edge AI Denetçisi — Web Worker'larda Gemma 4 E2B, MediaPipe 3D Yüz Ağı ve LiteRT Whisper Çalıştırma

Google Developer Expert ve HKIIT Kıdemli Öğretim Görevlisi Cyrus Wong tarafından kaleme alınan bu çalışma, sınav güvenliği ve gerçek zamanlı yapay zeka çıkarımı süreçlerini tamamen istemci tarafına (tarayıcıya) taşıyan yenilikçi bir mimariyi ele alıyor. Yazılım geliştiriciler için bulut maliyetlerini sıfırlarken yüksek performanslı çoklu model (multimodal) boru hatları kurmanın pratik yollarını gösteriyor.

1. Problem Tanımı: Gözetimli Testler ve Uygulamalı Sınavlar Neden Cihaz İçi Tarayıcı Edge AI Denetçisine İhtiyaç Duyar?#

Gözetimli sınavlarda ekran görüntüleri, kamera kareleri ve ses kayıtları genellikle denetim izi için bulut depolamaya yüklenir. Ancak 40 ila 100+ öğrencinin katıldığı canlı bir sınavda yalnızca insan gözetmenlere veya periyodik bulut görüntülerine güvenmek üç kritik operasyonel kör nokta yaratır:

• İnsan Gözetmen Dikkat Darboğazı: Tek bir gözetmen aynı anda 40'tan fazla ekranı, canlı kamera akışını ve mikrofonu gerçek zamanlı izleyerek gizli telefona bakma, yan ekrana göz atma veya fısıldama gibi anlık ihlalleri yakalayamaz.
• Anlık İhlaller ve 432.000+ Bulut AI Çağrısı: Periyodik ekran görüntüleri arasındaki boşluklarda 3,5 saniyelik bir kopya bakışı kolayca kaçırılabilir. Buna karşın, 40 koltuktan saniyede 30 kare (FPS) video ve sürekli sesi gerçek zamanlı denetim için bulut LLM'lerine aktarmak, 3 saatlik bir sınavda 432.000'den fazla bulut API çağrısı gerektirir. Bu durum laboratuvar bant genişliğini tüketir, API hız sınırlarını (rate limit) tetikler ve kontrolsüz bulut çıkarım maliyetlerine yol açar.
• Yerel Geometrik ve Anlamsal Akıl Yürütme Olmadan Yüksek Yanlış Pozitif Oranları: Uygulamalı kodlama sınavlarında öğrenciler doğal olarak göz kırpar, klavyeye bakar, soruları sesli okur ("3. soruya bakalım") veya teknik yardım ister ("Bay Wong, Docker servisim çöktü"). Basit hareket veya ses seviyesi tetikleyicileri, gözetmenleri yanlış alarmlara boğar.

Geliştiriciler İçin Pratik Çıkarım: Google MediaPipe (@mediapipe/tasks-vision), Google LiteRT.js (@litertjs/core Whisper-Tiny) ve LiteRT-LM WebGPU (@litert-lm/core Gemma 4 E2B gemma-4-E2B-it-web.litertlm) kullanılarak her öğrencinin tarayıcısı 0,00$ bulut çıkarım maliyetiyle 60 FPS'de çalışan bir Sıfır Veri Çıkışlı (Zero-Egress) Edge AI Denetçisine dönüştürülebilir. Bu yaklaşım, yoğun veri akışı gerektiren uygulamalarda çıkarım yükünü uç cihazlara (Edge) dağıtmanın ölçeklendirme ve maliyet optimizasyonu açısından ne kadar kritik olduğunu kanıtlar.

2. Mimari Derin Bakış: Ana İş Parçacığı Dışı (Off-Main-Thread) Web Worker ve Donanım Kare Senkronizasyonu Hattı#

478 noktalı 3D yüz işaretleyiciyi, iris derinlik tahmincisini, Chirp-Z log-Mel spektrogram çıkarıcısını, Whisper konuşmadan metne modelini ve 2 milyar parametreli Gemma 4 E2B LLM'ini ana React iş parçacığında (main thread) çalıştırmak tarayıcı arayüzünü anında dondurur.

• useFaceMonitor.js, litertWhisper.worker.js, litertGemma.worker.js ve useClientLiteRTGemma.js modülleriyle konuşma ve LLM akıl yürütme işlemleri özel Web Worker yapılarına izole edilir.
• Görüntü işleme ve yüz noktası tespiti ise requestVideoFrameCallback() API'si aracılığıyla tarayıcının donanım video kod çözücüsüyle doğrudan senkronize edilir.

Geliştiriciler İçin Pratik Çıkarım: Tarayıcı tabanlı ağır AI iş yüklerinde UI tepkiselliğini korumak için model çıkarımlarını mutlaka Web Worker'lara taşımalı ve video karelerini gereksiz döngüler yerine donanım senkronizasyon API'leriyle yakalamalısınız.

3. Uygulama Adımı 1: 478 Noktalı 3D Yüz Ağı, İris Metrik Derinliği ve 3 Saniyelik Debounce Durum Makinesi#

Geleneksel gözetim yazılımları yanlış pozitif uyarılarıyla bilinir; öğrenci hapşırdığında, göz kırptığında veya mekanik klavyesine 500 milisaniye baktığında sistem hemen uyarı verir. 478 noktalı 3D yüz ağı ve iris metrik derinlik analizi, 3 saniyelik bir Debounce Durum Makinesi (State Machine) ile birleştirilerek anlık doğal refleksler ile gerçek kopya girişimleri birbirinden ayrılır.

Geliştiriciler İçin Pratik Çıkarım: Ham model çıktılarını doğrudan uyarı mekanizmasına bağlamak yerine, araya zaman bazlı durum makineleri (debounce/throttle) ve anlamsal doğrulama katmanları eklemek üretim ortamındaki güvenilirliği doğrudan artırır.