Cactus Needle 3: Uç Cihazlar İçin 8-29 MB'lık Otomasyon Modelleri

Uç Cihazlarda Yeni Nesil Otomasyon: Needle 3

Needle 3, minik uç cihazlar (edge devices) için geliştirilmiş 8-29 MB boyutunda bir temel otomasyon modelidir. "Tek bir ağırlık seti, 2'den 20 katmana kadar her derinlikte bağımsız bir model" mantığıyla inşa edilen bir zeka merdiveni (intelligence ladder) sunar. Yazılımcılar için büyük bulut modellerine ihtiyaç duymadan cihaz üzerinde deterministik görev çalıştırmanın kapısını aralar.

Temel Yetenekler

Geliştiriciler, Needle 3'ün sunduğu üç temel kabiliyetten yararlanabilir:

Araç Çağrıları (Tool Calls): Uygulamanızın tanımladığı fonksiyonlar arasından en uygun olanları seçer ve argümanları kullanıcının ifadesine göre eksiksiz doldurur. İki işlem istendiğinde bunları sırasıyla çağırır; tanımlı hiçbir araca uymayan bir istek geldiğinde ise tahmin yürütmek yerine boş liste döner.
Yapılandırılmış Veri Çıkarımı (Structured Extraction): Belirlenen bir şema verildiğinde fatura, rezervasyon, bildirim veya form gibi karmaşık metinleri tipli alanlara dönüştürür. Kod çözme grameri çıktının hatasız parse edilmesini garanti eder; sınıflandırma problemlerinde de yüksek genelleme başarısı gösterir.
Metin Gömme (Text Embedding): Aynı model cümle vektörleri üreterek yerel arama, istek-araç eşleştirme ve yinelenen uyarıları filtreleme işlemlerini tamamen cihaz içinde çözer.

Ürün Kullanım Senaryoları

Cihaz üzerinde yerel (on-device) çalışan model 8 farklı alanda pratik çözümler sağlar:

Akıllı Ev: Düğmeler yerine konuşarak kontrol imkânı sunar; yatak odasını loşlaştırıp kapıları kilitleme komutu harici bir merkeze gitmeden, çevrimdışı iki çağrıyla yürütülür.
Robotlar: Süpürge veya robotlara mutfağı temizleyip yatak odasını atlaması gibi nüanslı eylem dizileri tanımlar.
Telefonlar: Sadece cevap vermek yerine aksiyon alan asistan; albüm oluşturur, ekranı kısar veya sözleşme dosyasını bulur.
Giyilebilir Cihazlar: Bildirimleri bilekte ayrıştırır; harcamaları mağaza, tutar ve tarihe böler; şikayetlerden duygu analizi çıkarır.
AR Gözlükleri: Telefona veya ağ bağlantısına gerek duymadan anlık navigasyon ve çevre araması gerçekleştirir.
Otomotiv: Kabin içi klima, medya ve arama komutlarını uzun yolculuklar boyunca sabit araç setiyle kararlı şekilde yönetir.
Bilgisayarlar: E-posta taslağı hazırlama, sayaç başlatma veya sekme açma işlemlerini doğrudan doğal dille yürütür.
Arama ve Eşleştirme: Verilerin cihaz dışına çıkmadığı semantik arama, yüzlerce araç arasından en yakınını seçme ve benzer uyarıları birleştirme olanağı tanır.

Mimari ve Geliştirici Çıkarımları

Needle 3'ün "zeka merdiveni" mimarisinde her katman kapasitesi artan bir alt ağdır. Geliştiriciler 2 katmandan (2L) 20 katmana (20L) kadar ihtiyaca uygun boyutu seçebilir. Modelin 4 katmanlı (4L) versiyonu, tek bir epoch ince ayar (fine-tuning) ile DeepSeek V4 Flash başarımına erişebilir. CQ2 kuantizasyonu ile 9-29 MB ikili dosyalar elde edilir.

Girdiler: Metin istemleri, araç tanımları veya veri çıkarma şemaları.
Çıktılar: Yapılandırılmış JSON araç çağrıları veya çıkarımları.
Model: 29-121M Basamaklı Basit Dikkat Ağları (Laddered Simple Attention Networks), CQ2 kuantizasyonu, 360 milyar tokenlik tescilli yapılandırılmış veri seti.
Hız: Raspberry Pi 5 üzerinde 400-4.000 token/sn üretim (decode), 1.000-10.000 token/sn ön işleme (prefill).

Bu yaklaşım, ağ bağımlılığı ve API maliyetlerini ortadan kaldırarak düşük donanımlarda güvenli ve gerçek zamanlı uç yapay zeka ajanları inşa etmeyi mümkün kılar.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Edge Runtime ve Production Optimizasyonu modülüne göz atın.