Kev: Qwen3.5 Tabanlı Küçük ve Bağımsız Karar Modelleri Ailesi

Genel Bakış ve Mimari Yaklaşım

Kev, Qwen3.5 üzerine inşa edilmiş ve "Jev's Architecture Unmasked" makalesinde açıklanan mimariyi temel alan açık kaynaklı bir karar modelleri ailesidir. Geliştiricilerin kendi donanımlarında eğitip bağımsız olarak çalıştırabilecekleri bu modeller, hem önceden eğitilmiş ağırlıklarla kullanıma hazırdır hem de özel veri kümeleriyle ince ayar yapılmasına imkân tanır. Kev'in sunduğu API, TypeSafe'in System One yapısıyla birebir eşleşir; bu sayede mevcut Python SDK istemcilerini harici servisler yerine doğrudan yerel Kev sunucunuza yönlendirerek güvenle çıkarım yapabilirsiniz.

Öne Çıkan Özellikler (Highlights)

Proje, verimli karar alma süreçleri için şu 5 temel avantaja odaklanır:

0.8B, 4B ve 9B Model Seçenekleri: Farklı donanım kapasitelerine hitap eden model boyutları, eksiksiz eğitim kodları ve değerlendirme verileriyle birlikte sunulur.
Tek İstekte Birleşik Soru Tipleri: Aynı istek gövdesinde evet/hayır (noul), çoktan seçmeli (choice) ve puanlama/derecelendirme (score) soruları eş zamanlı çözümlenir.
İzole Soru Mimarisi: Tanımlanan tüm sorular aynı metin girdisini paylaşır ancak çıkarım anında birbirlerinin durumlarını okuyamaz; bu yapı sorular arası bağlam kirliliğini ve önyargıları engeller.
Geniş Donanım Desteği: Hem CUDA hem de Apple Silicon üzerinde yüksek verimle çalışır; 4B ve 9B varyantları bf16 kullanarak 32 GB RAM'li bir Mac cihazına rahatça sığar.
Etkileşimli Web Arayüzü (Playground): Kendi girdilerinizi test edebileceğiniz ve şıkların sunuluş sırasının model kararlarını nasıl etkilediğini inceleyebileceğiniz bir web arayüzü barındırır.

Hızlı Başlangıç ve Yerel Dağıtım

Sistemi yerel ortamda çalıştırmak için Python 3.12+ ve paket yöneticisi uv gereklidir. Yerel sunucu şu komutlarla başlatılır:

git clone https://github.com/jaredpalmer/kev.git && cd kev
uv sync --extra serve
KEV_DTYPE=bf16 uv run --extra serve python -m kev.serve --run jaredpalmer/kev-4b --port 8009

İlk çalıştırmada temel model ve adaptör indirilir. İsteğe bağlı olarak --run parametresi yerel bir kontrol noktası (checkpoint) veya önceki nesil Hub revizyonu (örneğin jaredpalmer/kev-4b@qwen3) alabilir. Sunucu ayağa kalktıktan sonra /v1/systemone uç noktasına gönderilen tek bir HTTP isteğiyle müşteri destek bileti sınıflandırması yapılabilir. Model; ilgili departmanı olasılık dağılımıyla (probabilities), acil eskalasyon ihtiyacını (noul) ve müşteri memnuniyetsizliği seviyesini (score) tek geçişte üretir.

Pratik Çıkarımlar ve Geliştirici Notu

Yazılım mimarilerinde her yönlendirme veya sınıflandırma adımı için devasa genel amaçlı LLM'leri çağırmak yüksek gecikme (latency) ve maliyet yaratır. Kev gibi amaca yönelik küçük karar modelleri; düşük kaynak tüketimi, yerel veri gizliliği ve deterministik çıktılarıyla modern yapay zekâ boru hatlarını optimize etmek için güçlü bir çözümdür.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.