Uçta Çevrimdışı Üretken Yapay Zeka İçin Güven Mekanizmaları: Bağlantı Rejimi Çerçevesi ve Raspberry Pi 5 Üzerinde Ampirik Bir Çalışma

Giriş ve Bağlantı Rejimi Çerçevesi#

Üretken yapay zeka ve büyük dil modelleri (LLM'ler) Nesnelerin İnterneti (IoT) dünyasına hızla entegre oluyor. Ancak mevcut dağıtımların çoğu sürekli bulut bağlantısı varsayarken, gerçek dünyadaki pek çok IoT ortamı kesintili, kısıtlı veya tamamen çevrimdışı koşullarda çalışır. Bu çalışma, ağ bağlantısı olmayan veya kısıtlı olan sistemler için C0-C4 bağlantı rejimi çerçevesini, çıkarım zamanlı (inference-time) güven mekanizmaları taksonomisini ve güncellemeler için imzalı, versiyonlanmış bilgi paketlerini (knowledge packs) önermektedir.

Araştırma kapsamında bu mimari, ağdan tamamen izole edilmiş bir Raspberry Pi 5 üzerinde yerel RAG (Retrieval-Augmented Generation) çalıştırılarak test edilmiştir. Deneylerde üç farklı Qwen2.5 model boyutu (3B ve 7B dahil), üç farklı bağlam (context) boyutu ve 300 adet SQuAD 2.0 sorusu kullanılmıştır.

Temel Bulgular ve Çıkarım Zamanlı Doğrulama#

Çevrimdışı uç cihazlarda model çıktılarına güvenebilmek için uygulanan mekanizmalar şu sonuçları vermiştir:

• Erişim Skoru Kapısı (Retrieval-Score Gate): Ampirik olarak kalibre edilmiş bir erişim skoru eşiği, bilgi eksikliklerini neredeyse kusursuz biçimde tespit ederken (AUROC 0.97), konu içi ancak cevapsız (unanswerable) sorularda düşük performans göstermiştir (AUROC 0.68).
• Deterministik Çıktı Doğrulayıcı ve NLI: Deterministik bir doğrulayıcı, bozuk formatlı çıktıları hiçbir doğru cevabı kaybetmeden açık çekimserlik (abstention) yanıtlarına dönüştürmüştür. Buna karşın test edilen NLI (Doğal Dil Çıkarımı) tabanlı doğrulayıcı çok az katkı sağlamıştır; 7B modelinde cevapsız etiketli sorulara verilen anlamlı yanıtların %96'sı zaten getirilen pasajların normalize edilmiş metin aralıklarıyla eşleşmektedir.
• Model Boyutu ve Bağlam Etkisi: 3B modeli, 7B modeline kıyasla yarıdan daha az gecikme (latency) ve tahmini enerji tüketimiyle aynı altın-cevap kapsama oranına ulaşmıştır. Ancak 7B modeli, 0.5 token-F1 eşiğini çok daha sık aşmaktadır. Ayrıca getirilen pasaj sayısını üçten beşe çıkarmak, doğruluk oranını %75'ten %52'ye düşürmüştür.
• Bilgi Paketi Güvenliği ve Gömme (Embedding) Maliyeti: İmzalı bir bilgi paketini doğrulamak cihazda yalnızca 4.5 ms sürerken, pasajların cihaz üzerinde vektörleştirilmesi (embedding) yaklaşık 29 dakika almaktadır. Tek başına imza ve özet (hash) kontrolleri, katmanlı doğrulamanın reddettiği dokuz güncelleme saldırısının altısını kabul etmiştir.
• Zehirlenmiş Veri Riski: Geçerli şekilde imzalanmış ancak zehirlenmiş (poisoned) bir paket tüm paket kontrollerinden geçebilmektedir. Daha önce doğru yanıtlanan 30 soruda doğru cevap sayısı sıfıra düşmüş ve 14 soruda enjekte edilen yanlış cevap döndürülmüştür. Değerlendirilen hiçbir mekanizma kanıtın mutlak doğruluğunu garanti edememektedir.

Yazılım Geliştirme ve Mühendislik Çıkarımları#

• Az Bağlam Daha Çoktur: RAG sistemlerinde modele daha fazla pasaj (3 yerine 5) beslemek, özellikle uç cihazlardaki küçük modellerde gürültüyü artırarak doğruluğu ciddi oranda (%75'ten %52'ye) düşürür.
• Cihaz Dışı Vektörleştirme: Uç cihazda embedding hesaplamak (29 dk) yerine önceden hesaplanmış ve kriptografik olarak imzalanmış paketleri doğrulamak (4.5 ms) dağıtım süreçlerini dramatik biçimde hızlandırır.
• Katmanlı Tedarik Zinciri Güvenliği: Sadece kriptografik imza doğrulaması içerik zehirlenmesini (data poisoning) engelleyemez; şema, versiyon ve katmanlı doğrulama kontrolleri şarttır.

---

Bu konuyu derinlemesine öğrenmek isterseniz: SBOM ve Artifact İmzalama modülüne göz atın.