Janus: AMD, Intel ve Nvidia İçin Vulkan Destekli Yerel LLM Sunucusu

Giriş ve Genel Bakış

Janus, tek bir Go ikili dosyası (binary) halinde çalışan, yerel bilgisayarınızdaki GPU veya CPU üzerinde .gguf formatındaki yapay zekâ modellerini koşturan ve OpenAI uyumlu bir API sunan modern bir çıkarım sunucusudur. Python çalışma ortamı, Docker konteynerleri veya Ollama gibi ek katmanlara ihtiyaç duymadan doğrudan çalışır. Geliştiriciler; cURL veya komut satırı betikleri üzerinden çıkarım yapabilir ya da Cursor ve Cline gibi popüler yapay zekâ destekli kod editörlerine bu sunucuyu kolayca entegre edebilir. Özellikle tescilli CUDA ekosistemine bağımlı kalmadan, Vulkan API desteği sayesinde AMD ve Intel grafik kartlarında da yüksek başarımlı yerel çıkarım sağlaması, donanım bağımsızlığı ve geliştirme maliyetlerini düşürme açısından önemli bir pratik avantaj sunar.

Neler Sunuyor?

Yerel Çıkarım (Local Inference): AMD, Intel ve NVIDIA donanımları için Vulkan tabanlı llama.cpp motorunu kullanır ya da uygun GPU bulunmadığında otomatik CPU moduna geçer.
OpenAI Uyumlu API: Standart /v1/chat/completions ve /v1/models uç noktalarını sağlayarak mevcut araçlar ve istemcilerle tak-çalıştır entegrasyon kurar.
Çalışırken Model Değiştirme (Hot-swap): Sunucuyu kapatıp yeniden başlatmaya gerek kalmadan .gguf modellerini çalışma zamanında dinamik olarak değiştirebilir.
Akıl Yürütme Modeli Desteği: Düşünce zincirine (thinking) sahip modellerin muhakeme çıktılarını reasoning_content alanı ile ayrıştırarak istemcilere iletir.
Otomatik Sohbet Şablonu Tespiti: GGUF üstverisindeki (metadata) şablonu otomatik olarak algılayıp uygulayarak prompt biçimlendirme hatalarını ortadan kaldırır.
Sıfır Dış Bağımlılık: Windows üzerinde tek bir .exe dosyası olarak çalışır; harici Python paketleri veya karmaşık konteyner kurulumları gerektirmez.

Sistem Gereksinimleri

Windows (Birincil): Windows 10/11 işletim sistemi, Go 1.22+ sürümü ve Vulkan destekli modern bir GPU önerilir.
Linux: Go 1.22+ ortamı ve Vulkan destekli donanım ya da standart CPU altyapısı.
macOS: Go 1.22+ ve CPU arka ucu (Vulkan desteği kullanılan donanıma göre farklılık gösterir).
Disk Alanı: Model boyutuna göre planlanan 2–8 GB depolama alanı ile Janus ve llama.dll için yaklaşık 50 MB ek alan.

Hızlı Başlangıç (Windows)

Klonlama ve Derleme: Depo yerel ortama klonlanır ve .\build.ps1 betiği çalıştırılır; bu işlem hazır derlenmiş Vulkan DLL'lerini indirerek dist\janus.exe dosyasını derler.
Model İndirme: Model dosyası models\ dizinine eklenir. Projede yer alan modelget aracı derlenerek Hugging Face üzerinden (örneğin Llama 3.2 3B Instruct) doğrudan GGUF çekilebilir.
Yapılandırma: .env.example dosyası kopyalanıp .env adıyla kaydedilir; çıkarım motoru (INFERENCE_BACKEND=vulkan), model dosya yolu (JANUS_MODEL_PATH), GPU katman sayısı (JANUS_GPU_LAYERS), VRAM bütçesi (JANUS_VRAM_CEILING_MB) ve maksimum token ayarları düzenlenir.
Çalıştırma: .\dist\janus.exe çalıştırılır ve yerel arayüz tarayıcıda http://127.0.0.1:8990 adresinde açılır.
Doğrulama: curl http://127.0.0.1:8990/health uç noktasına istek atılarak sunucunun sağlıklı çalıştığı kontrol edilir.

Hızlı Başlangıç (Linux / macOS)

Depo klonlandıktan sonra go mod tidy ve go build -o dist/janus ./cmd/janus komutlarıyla derleme tamamlanır; ardından .env dosyası kopyalanıp model yolu ve CPU/Vulkan çıkarım parametreleri tanımlanarak sunucu devreye alınır.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://github.com/Vibra-Ingenn/Janus)