convaiinnovations/laya — Hugging Face'te Öne Çıkan Model

Model: convaiinnovations/laya | İndirme: 0 | Beğeni: 3808
Etiketler: transformers, safetensors, laya, system-one, calibrated-decisions, rlcd, classification, routing

1. convaiinnovations/laya: Sistem 1 Karar Modeli

Laya; çok dilli, otoregresif olmayan (non-autoregressive) bir Sistem 1 karar modelidir. Geliştiricilerin sağladığı metin, e-posta, bilet veya JSON durumlarını tiplendirilmiş sorularla alarak 100'den fazla dilde, tek bir ileri geçişte (~33 ms) matematiksel olarak kalibre edilmiş olasılıklarla tiplendirilmiş yanıtlar döner. RLCD (strictly proper scoring rules ile pekiştirmeli öğrenme) ile eğitilmiştir; bu sayede dürüst olasılıklar bildirmek ödülü maksimize etmenin tek yoludur. Model serbest metin üretmediği için ayrıştırma (parsing) ihtiyacı ve halüsinasyon riski bulunmaz.

2. Kurulum (Installation)

Model, Python 3.10 veya daha yeni sürümler gerektirir ve pip install laya ile kurulur. İhtiyaca yönelik opsiyonel paketler mevcuttur:

laya[serve]: HTTP sunucusu desteği.
laya[mcp]: MCP (Model Context Protocol) sunucusu entegrasyonu.
laya[langchain]: LangChain ve LangGraph orkestrasyonu.
laya[onnx]: ONNX Runtime ile optimize çıkarım.
laya[fast]: TileLang GPU hızlı yolu.
Platformlara özel kurulum adımları GitHub README dosyasında yer almaktadır.

3. Uzun Belgeler (Long Documents)

laya-multilingual, max_len=8192 parametresiyle 8.192 tokene kadar okuma kapasitesine sahiptir:

Varsayılan 1.024 token sınırı uzun dokümanları kestiğinden, uzun metinlerde max_len=8192 belirtilmelidir.
Benchmark ölçümlerine göre ~4.000 tokene kadar 20 istekten 16-18'i doğru yanıtlanmış; bu sınır aşıldığında doğruluk 8-17/20 arasında dalgalandığı için kendi verinizde test edilmesi önerilir.
Kısa girdiler etkilenmez ve hız girilen metnin gerçek boyutuna bağlıdır (Apple GPU'da 4.000 token yaklaşık 1,7 saniye sürer).
Uzun İngilizce ağırlıklı metinlerin İngilizce kontrol noktasına yönlenmesini önlemek için checkpoint açıkça model="multilingual" olarak tanımlanmalıdır.

4. Hızlı Başlangıç (Quickstart) ve Çok Dilli Yönlendirme

Model, Router() sınıfı üzerinden kullanılır (preload=True ile üç kontrol noktası da önceden belleğe yüklenebilir):

choice, score ve noul tipleriyle yapılandırılmış sorular tanımlanır; router.predict() çağrısı tek seferde departman ve risk olasılıklarını döndürür.
Router, alfabeyi ve dili otomatik algılayarak İngilizce dışındaki girdileri (Hintçe, İspanyolca vb.) doğrudan laya-multilingual modeline yönlendirir.

5. İnce Ayar ile Daha Yüksek Doğruluk (Fine-tune for better accuracy)

Mevcut ağırlıklar sıfır kurulumla (zero-shot) çalışır; ancak modelin kendi alanınıza (domain) ait kararlarla fine-tune edilmesi doğruluğu zirveye taşır.

Yazılım Geliştirme Açısından Pratik Çıkarımlar

Hızlı Yönlendirme (Routing): 33 ms'lik gecikme süresiyle agent mimarilerinde pahalı LLM çağrıları yerine deterministik ve ultra hızlı bir karar mekanizması sunar.
Sıfır Halüsinasyon: Serbest metin yerine doğrudan kalibre edilmiş olasılıklar ürettiğinden JSON şema hatalarını ve uydurmaları tamamen engeller.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.