Ollaya: Açık Kaynaklı ve Jev Tarzı Karar Modelleri İçin Yerel Çalıştırma Çözümü

Ollaya, Jev tarzı açık kaynaklı karar modellerini yerel donanımınız üzerinde çalıştırmanızı sağlayan yenilikçi bir araçtır. Geleneksel üretici yapay zekaların aksine, herhangi bir metin veya JSON verisine dair tipli (typed) sorular sorarak milisaniyeler seviyesinde kalibre edilmiş yanıtlar elde etmenizi sağlar. Tamamen açık kaynaklı olup, verilerinizi kendi cihazınızda tutarak üst düzey gizlilik sunar.

Örneğin, yazılım geliştirme süreçlerinde bir yapay zeka ajanının çalıştıracağı komutları denetlemek için bir güvenlik katmanı (guardrail) olarak doğrudan CLI üzerinden kullanılabilir:

action: block (olasılık: 0.53)
on_task: no (olasılık: 0.75)
risk: 1.23 / 2
could lose local work: 0.15
destructive: yes (olasılık: 0.90)

RTX 4090 üzerinde decider:2b modeli bu beş soruluk denetimi uçtan uca yalnızca 178 ms içinde yanıtlamaktadır.

Milisaniyeler İçinde Hızlı Kararlar

Karar modelleri, standart LLM'ler gibi belirteç belirteç (token-by-token) üretim yapmaz; tüm yanıtı tek bir ileri geçişte (single forward pass) üretir. Yerel GPU'nuzda HTTP API üzerinden beş soruluk bir istek Laya ile 8–10 ms sürerken, bulut tabanlı TypeSafe Jev API'sinde medyan süre 236–276 ms civarındadır.

Modellerin medyan gecikme süreleri:

laya:multilingual: 8.1 ms
laya:en: 9.6 ms
gliclass: 14.7 ms
nli: 20.4 ms
decider:0.8b: 155 ms
decider:2b: 190 ms
TypeSafe Jev hosted API: 236–276 ms

Doğrudan Entegrasyon ve API Uyumluluğu

Ollaya, TypeSafe API şemasıyla birebir uyumludur. /v1/systemone ve /v1/models uç noktalarını TypeSafe istek/yanıt formatlarında sunar. Resmi TypeSafe Python SDK (0.7.1) yerel sunucuya yönlendirilerek kod değişikliği gerekmeden çalışır. Yanıtlarda çıktı belirteç sayısının sıfır (output_tokens: 0) olması, ağ ve hesaplama yükünü minimuma indirir.

Açık Ağırlıklı Karar Modelleri

Geliştiricilerin kullanım senaryolarına göre yerel ortamlarına çekebilecekleri modeller:

laya: Convai Innovations tarafından geliştirilen; seçim, skor ve evet/hayır sorularına tek geçişte kalibre yanıtlar sunan, İngilizce ve 100'den fazla dili destekleyen en hızlı model (322M ve 421M).
decider: Mapika'nın Qwen3.5 tabanlı dekoder karar modeli; seçenek harfi logit'lerinden okuma yaparak yüksek isabet oranı sağlar (0.75B ve 1.9B).
nli: Moritz Laurer'in geliştirdiği, her seçeneği bir hipotez olarak puanlayan en isabetli enkoder modeli (396M ve 435M).
gliclass: Knowledgator tarafından sunulan, seçenek sayısı artsa da işlem maliyeti neredeyse sabit kalan talimat takipli sıfır atışlı sınıflandırıcı.

(Ayrıca 8.192 belirtece kadar bağlam okuyabilen von ve güvenlik filtreleme için qwen3guard modelleri de yer almaktadır).

Geliştiriciler İçin Pratik Çıkarımlar

Üretim ortamındaki yapay zeka mimarilerinde ajan yönlendirme (routing), niyet tespiti veya güvenlik filtreleri için devasa üretici modeller kullanmak yüksek maliyet ve gecikme yaratır. Karar modelleri, tek ileri geçiş mimarisiyle ajan döngülerini hızlandırmak ve edge/yerel ortamlarda deterministik, güvenilir sınıflandırmalar yapmak için ideal bir alternatiftir.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.