SCM: macOS İçin Fotoğraf ve Videolarda Derinlemesine Yerel Yapay Zeka Araması

SCM (Screen Memories), macOS ortamındaki herhangi bir klasörde bulunan tüm fotoğraf ve video karelerini derinlemesine aramak üzere geliştirilmiş, yerel öncelikli (local-first) bir yapay zeka arama aracıdır. Hesap oluşturma, buluta yükleme veya harici API bağımlılığı olmadan tüm model çıkarım (inference) süreçlerini doğrudan Mac donanımınız üzerinde çalıştırır.

SCM'yi Farklı Kılan Özellikler#

Düşündüğünüz gibi arayın: Hatırladığınız bir anıyı günlük doğal dille tarif edersiniz; yerel görüntü modeli aradığınız kareyi anlamsal olarak bulur.
Anına kadar video arama: Videolar sahne bazında bölümlenir ve vektörleştirilir; böylece dosya seviyesinde kalmayıp doğrudan ilgili sahneye ve zaman koduna ulaşırsınız.
Metin ve diyalog desteği: Görüntülerdeki metinler için OCR (Tesseract), videolardaki konuşmalar için ise Whisper ile birebir sesli diyalog araması bağımsız modlar olarak sunulur.
Özelleştirilebilir sekmeler ve istemler: İstediğiniz sorguyu sekme olarak kaydedebilir; Ekran Görüntüleri ve E-posta gibi hazır sekmeleri kolayca açıp kapatabilirsiniz.
Kendi kendini yöneten kütüphane: İzlenen klasörler otomatik aktarılır, içerik hash'leri ile yeniden adlandırılan kopyalar engellenir ve model değişikliklerinde arka planda yeniden vektörleme yapılırken arama kesintiye uğramaz.
Tam gizlilik: Medya dosyalarınız cihazınızdan asla ayrılmaz. Model ağırlıkları yalnızca ilk kullanımda bir kez indirilir, ardından tüm sistem çevrimdışı çalışır.

Beş Farklı Arama Modu#

Dosyalar (Files): Fotoğraf ve videoları anlamsal olarak bulur; dosya adı ve ifade ağırlıklandırmalarıyla görsel sıralama yapar.
Sahneler (Scenes): Video içi anları yakalar; aranan sahneyi bulup doğrudan zaman koduna atlamayı sağlar.
OCR: Görsel ve karelerdeki görünür metinleri birebir eşleştirir (Tesseract altyapısıyla İngilizce ve 35 dil seçeneği).
Diyalog (Dialogue): Videolardaki konuşulan kelimeleri Whisper ile kademeli tam eşleşme yöntemiyle arar.
Yerel LLM'ler (İsteğe bağlı): Çıkarılan diyalog, OCR ve dosya adları üzerinden kaynak gösteren yanıtlarla yerel sohbet imkanı sunar.

Gereksinimler#

macOS: Electron-builder ile paketlenmiştir; menü çubuğu özellikleri macOS platformuna özeldir.
Bun: Paket yöneticisi ve çalışma zamanı olarak Bun kullanılır.
Node Modülleri: Bağımlılıklar bun install komutu ile kurulur.
Model Ağırlıkları: Varsayılan CLIP modeli ilk kullanımda yaklaşık 435 MB ağırlık indirir, sonrasında tamamen çevrimdışı kalır.

Kurulum ve Geliştirme#

Homebrew aracılığıyla Gatekeeper onay adımları otomatik temizlenerek kurulabilir:

brew tap allenv0/scm
brew trust allenv0/scm
brew install --cask allenv0/scm/scm

Geliştirme ortamını başlatmak için:

bun run dev

Yazılım Geliştirme ve Öğrenme Çıkarımları#

Local-First ve Çok Modlu Mimari: SCM, bulut maliyetleri ve veri gizliliği kaygılarına karşı CLIP, Whisper ve Tesseract modellerini istemci tarafında birleştirerek güçlü bir hibrit arama mimarisi kurulabileceğini gösteriyor.
Arka Plan İndeksleme Tasarımı: İçerik hash'leri ile tekilleştirme ve aramayı bloklamayan asenkron yeniden vektörleme desenleri, yüksek performanslı yerel masaüstü AI uygulamaları geliştirmek için değerli bir mimari örnektir.

Orijinal makaleye buradan ulaşabilirsiniz.