---
title: "Bir ESP32 ve Yerel Görsel Model iPhone'umu Nasıl Yönetiyor?"
url: https://blog.edumints.com/bir-esp32-ve-yerel-gorsel-model-iphone-umu-nasil-yonetiyor
category: "LLM"
date: 2026-10-20T09:05:33.805Z
publisher: Edumints Blog
lang: tr-TR
source_name: "dev.to"
source_url: https://dev.to/numbpill3d/an-esp32-and-a-local-vision-model-drive-my-iphone-4nh3
---

# Bir ESP32 ve Yerel Görsel Model iPhone'umu Nasıl Yönetiyor?

Apple, 17 yıl boyunca bir iPhone'u kontrol etmenin Xcode, 99 dolarlık bir geliştirici hesabı ve koltuğunuzdan daha pahalı bir donanım gerektirdiğine bizi ikna etmeye çalıştı. Ancak Henry Yuan, sadece 7 dolar harcayarak bunun aksini kanıtladı. Geliştirdiği `esp32-iphone-agent` projesi, standart bir iPhone'un bir yapay zeka ajanı tarafından nasıl kontrol edilebileceğini göstererek kısa sürede binlerce yıldıza ulaştı.

Buradaki asıl numara sadece yapay zeka değil; donanım düzeyinde yapılan yaratıcı bir soyutlama. Yuan, klasik bilgisayar kullanan ajan (computer-use agent) mimarisini üç temel organa ayırarak her birini erişilebilir parçalarla inşa etti:

- **Gözler:** AirPlay ekran yansıtma
- **Eller:** USB fare ve klavye gibi davranan bir ESP32-S3 mikrodenetleyici
- **Beyin:** OpenAI uyumlu herhangi bir görsel model (VLM) uç noktası

Bu mimaride WebDriverAgent, CoreDevice yamaları veya Apple'ın imzalaması gereken özel bir uygulama yok. iOS açısından bakıldığında ortada yalnızca güvenilir bir USB fare bulunuyor. Bireysel bir geliştirici olarak bu sistemi devasa sunucular yerine, tüketici sınıfı tek bir GPU, **Ollama** ve **7B parametreli bir görsel model** ile kendi ortamınızda rahatlıkla çalıştırabilirsiniz. Ancak işin güvenlik boyutu da kritik: İnşa edilen bu sistem özünde Wi-Fi üzerinden kontrol edilen bir **USB HID (İnsan Arayüz Cihazı) implantı** niteliği taşıyor.

## 1. Gözler: UxPlay ve GStreamer JPEG Hattı

İlk sürüm (v0.1.0) mimarisi, hata ayıklaması daha basit olduğu için geliştiricilerin ilk tercih edeceği yöntemdir. Akış oldukça nettir: **iPhone → (Wi-Fi) AirPlay → UxPlay çalışan Mac/Linux bilgisayar → GStreamer → JPEG kareleri → Yapay Zeka Ajanı**.

Buradaki gizli kahraman, GStreamer eklentileri üzerine kurulu gerçek bir AirPlay alıcısı olan **UxPlay**'dir. iPhone, ekranını yalnızca bir televizyona yansıttığını düşünür. Daha yeni donanım yazılımında ise ESP32-S3 doğrudan kendi erişim noktasını (hotspot) açarak AirPlay alıcısı rolünü üstlenir ve H.264 akışını BLE (Bluetooth Low Energy) üzerinden aktarır; böylece telefon hücresel verisini model iletişimi için kullanmaya devam edebilir.

Her iki yöntemde de Xcode otomasyonlarının veremediği bir şeye sahip olursunuz: **Gerçek çerçeve tamponu (framebuffer)**. Bir ekran görüntüsü API'si yerine, saniyede yaklaşık 5 kare (fps) ve 480x1040 çözünürlükte gerçek işlenmiş ekranı alırsınız. Bu çözünürlük BLE'yi yormayacak kadar düşük, ancak bir görsel dil modelinin (VLM) ekranı okuyabileceği kadar yüksektir. Elde edilen kareler **base64** formatında `/api/v1/chat/completions` uç noktasına beslendiğinde ajanınız görmeye başlar.

## 2. Eller: USB HID Olarak ESP32-S3 ve AssistiveTouch Hilesi

Apple, rastgele bir USB cihazının ekrana doğrudan dokunmasına izin vermez; ancak erişilebilirlik kapsamındaki bir farenin imleci hareket ettirmesine izin verir. iOS'ta **AssistiveTouch** özelliğini açıp bir USB fare taktığınızda, ekranda sürükleyebileceğiniz küçük bir imleç belirir. Bu dünyada **tıklama = dokunma** ve **sürükleme = kaydırma** anlamına gelir.

Yaklaşık 7 dolarlık, yerel USB ve 8MB PSRAM desteğine sahip bir **Seeed XIAO ESP32S3** (veya eşdeğeri bir ESP32-S3) bu iş için yeterlidir. iOS 18+ ve USB-C portlu cihazlarda doğrudan tak-çalıştır olarak işlerken, Lightning girişli cihazlarda kamera adaptörüne ihtiyaç duyulur. Kart, **TinyUSB** kütüphanesi aracılığıyla iki HID arayüzü sunar: bağıl fare ve ASCII klavye. Bilgisayarınız Wi-Fi veya BLE üzerinden koordinat komutlarını gönderdiğinde, mikrodenetleyici fiziksel girdi üreterek ajanın kararlarını gerçek eylemlere dönüştürür.

**Yazılım Geliştirme ve Öğrenme Çıkarımları:**
- **Kısıtlamaları Aşmak:** Kapalı ekosistemlerde yazılım API'leri engellendiğinde, standart donanım protokollerini (AirPlay, USB HID) yaratıcı şekilde birleştirmek güçlü bir alternatiftir.
- **Maliyet ve Erişilebilirlik:** Büyük dil ve görsel modelleri yerel donanımda (Ollama + 7B VLM) çalıştırarak bulut maliyetleri olmadan uçtan uca otonom ajanlar geliştirilebilir.
- **Güvenlik Farkındalığı:** Erişilebilirlik özelliklerinin ve standart USB arayüzlerinin otomasyon için ne kadar kolay kullanılabileceğini görmek, donanım tabanlı güvenlik modellerini anlamak açısından eşsiz bir pratiktir.

---

**Kaynak:** dev.to (https://dev.to/numbpill3d/an-esp32-and-a-local-vision-model-drive-my-iphone-4nh3)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/bir-esp32-ve-yerel-gorsel-model-iphone-umu-nasil-yonetiyor