---
title: "\"Sweets Vault\" İnşası: Fiziksel Donanım Entegrasyonlu Çok Modlu Gemini Agent'ı Geliştirmek"
url: https://blog.edumints.com/sweets-vault-insasi-fiziksel-donanim-entegrasyonlu-cok-modlu-qubdo293
category: "AI Araçları"
date: 2026-05-17T13:36:29.172Z
publisher: Edumints Blog
lang: tr-TR
source_name: "dev.to"
source_url: https://dev.to/googleai/building-sweets-vault-a-multimodal-gemini-agent-with-physical-hardware-integration-1nmh
---

# "Sweets Vault" İnşası: Fiziksel Donanım Entegrasyonlu Çok Modlu Gemini Agent'ı Geliştirmek

**Giriş**
Yapay zeka modellerinin sadece metin üretmekle kalmayıp fiziksel dünyayı etkileyebilmesi, yazılım dünyasında yeni bir dönemin kapılarını aralıyor. "Sweets Vault" projesi, çocukların ödev motivasyonunu artırmak için tasarlanmış, Gemini tabanlı bir "akıllı kasa" sistemidir. Bu makalede, Google'ın **Agent Development Kit (ADK)** aracını kullanarak çok modlu bir agent'ın nasıl fiziksel bir donanıma (bir çekmece kilidine) bağlandığını teknik bir perspektifle inceleyeceğiz.

**Sistem Mimarisine Genel Bakış**
Sistem üç ana katmanda kurgulanmıştır:
- **Gemini API:** Görsel (ödev kontrolü) ve işitsel (okuma anlama) girdileri analiz eden beyin görevi görür.
- **ADK Agent & Araçlar:** Durum yönetimini ve "araç çağırma" (tool calling) mekanizmasını yürütür.
- **Donanım Arayüzü:** Yerel bir sunucu üzerinden USB röle kontrolü ile fiziksel kilidi açar.

**1. Adım: Dosya Arama Deposu Oluşturma**
Görsel doğrulama süreci için Gemini'nin çok modlu arama yeteneklerinden yararlanılır. Öğrencinin defterindeki yazıları analiz etmek üzere bir "File Search Store" kurulur. Yazılım perspektifinden bu adım, modelin bağlamsal doğruluğunu artırarak "başarı kriterlerini" daha hassas değerlendirmesini sağlayan bir veri yapılandırma sürecidir.

**2. Adım: Proje Kurulumu**
Geliştirme süreci, Google Cloud API anahtarlarının yapılandırılması ve ADK kütüphanesinin yerel ortama kurulmasıyla başlar. Fiziksel donanıma doğrudan erişim gereksinimi nedeniyle agent'ın bulut yerine yerel bir makinede (Ubuntu vb.) çalıştırılması, "edge computing" prensiplerinin AI projelerindeki önemini vurgular.

**3. Adım: İstemciyi (Client) Başlatma**
**Gemini 1.5 Flash** gibi düşük gecikmeli modeller, gerçek zamanlı etkileşim için tercih edilir. İstemci başlatılırken, agent'ın hangi araçlara (kamera, mikrofon, fiziksel kilit) erişebileceği tanımlanır. Bu, nesne tabanlı programlamadaki "capability" enjeksiyonuna benzer bir yaklaşımdır.

**4. Adım: "Düşünme" Süreci**
Agent, kullanıcının girdisini sistem talimatlarındaki başarı kriterleri ile kıyaslar. Ödev doğruysa, Gemini bir "araç çağırma" (tool call) sinyali üretir. Geliştiriciler için bu aşama, AI'nın mantıksal çıkarımlarını (reasoning) deterministik yazılım fonksiyonlarıyla köprülemek açısından kritik bir öğrenme noktasıdır.

**5. Adım: Arama Topraklama (Search Grounding)**
Modelin halüsinasyon görmesini önlemek için sistemin belirli kurallara sadık kalması sağlanır. Arama topraklaması, agent'ın sadece görselden elde ettiği somut verilere dayanarak karar vermesini garanti altına alır; bu da sistem güvenilirliği için olmazsa olmazdır.

**Sonuç ve Yazılım Geliştirme Çıkarımları**
"Sweets Vault", AI ve fiziksel donanım entegrasyonunun (Physical AI) pratik bir uygulamasıdır. Yazılım geliştiriciler için bu proje; asenkron donanım sinyallerini yönetmek, çok modlu verileri tek bir akışta birleştirmek ve **Agentic Workflow** kavramını uygulamalı olarak kavramak açısından büyük önem taşımaktadır. Gelecekte AI agent'ları, sadece dijital asistanlar değil, fiziksel dünyadaki iş süreçlerini otomatize eden akıllı birer "operatör" haline gelecektir.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://dev.to/googleai/building-sweets-vault-a-multimodal-gemini-agent-with-physical-hardware-integration-1nmh)

---

**Kaynak:** [dev.to](https://dev.to/googleai/building-sweets-vault-a-multimodal-gemini-agent-with-physical-hardware-integration-1nmh)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/sweets-vault-insasi-fiziksel-donanim-entegrasyonlu-cok-modlu-qubdo293