NIGHTRUN: İşletim Sistemi Olmadan Doğrudan UEFI Üzerinde Çalışan Yapay Zeka Çalışma Zamanı

NIGHTRUN Nedir ve Neden Dikkat Çekiyor?

NIGHTRUN, bilgisayarınızı herhangi bir işletim sistemi (Windows, Linux vb.) yüklemeden doğrudan bir Büyük Dil Modeline (LLM) önyüklemenizi (boot) sağlayan devrim niteliğinde, açık kaynaklı bir Rust projesidir. UEFI (Unified Extensible Firmware Interface) uygulaması olarak tasarlanan bu araç, donanım başlatılır başlatılmaz doğrudan belleğe yüklenir. Rust dilinin no_std ekosistemiyle geliştirilen NIGHTRUN, işletim sistemi katmanını aradan kaldırarak donanım kaynaklarını tamamen yapay zeka çıkarımına (inference) tahsis eder.

Özellikle kısıtlı kaynaklara sahip uç cihazlarda (edge devices) ve eski bilgisayarlarda RAM ve CPU yükünü minimuma indirmesi, projeyi geliştirici topluluğunda oldukça popüler hale getirmiştir.

Geliştiriciler İçin Değeri ve Öne Çıkan Özellikleri

Geleneksel bir işletim sistemi çalıştığında, arka plan süreçleri ve sistem servisleri RAM'in %30-40'ını tüketebilir. NIGHTRUN ise bu israfı engeller:

Sıfır İşletim Sistemi Yükü (Zero-OS Overhead): İşletim sistemi kernel'ı veya init sistemleri yerine doğrudan UEFI modunda çalışır.
Yüksek Donanım Verimliliği: x86_64 mimarisinde AVX2/FMA, ARM mimarisinde ise NEON vektör talimatlarını doğrudan kullanarak maksimum işlemci performansı elde eder.
Dahili Grafik Arayüzü (Framebuffer Chat UI): Boot işlemi tamamlanır tamamlanmaz kullanıcıyı karşılayan minimalist bir sohbet arayüzü sunar.
Kuantize Model Desteği: Llama 3.2 (1B/3B), Granite ve Qwen3 gibi popüler küçük boyutlu kuantize modelleri sorunsuz çalıştırabilir.

Nasıl Kullanılır? Pratik Örnekler

NIGHTRUN kullanmak son derece basittir ve işletim sistemi kurulumu gerektirmez:

İmge Hazırlama: NIGHTRUN derlenmiş .efi dosyasını ve kullanmak istediğiniz .gguf formatındaki modeli bir USB belleğe (FAT32 biçimlendirilmiş) kopyalayın.
Boot Etme: Bilgisayarınızı veya Raspberry Pi 5 cihazınızı yeniden başlatın ve BIOS/UEFI menüsünden USB belleği ilk öncelikli önyükleme sürücüsü olarak seçin.
Doğrudan Çıkarım: Cihaz açılır açılmaz komut satırına veya GUI ekranına düşer. Model doğrudan RAM'e yüklenir ve anında istem (prompt) yazıp yanıt almaya başlayabilirsiniz.

Örneğin, Raspberry Pi 5 (8GB) üzerinde 3B parametreli Llama modelini yaklaşık saniyede 3 token hızında, hiç Linux işletim sistemi çalıştırmadan çalıştırmak mümkündür.

Benzer Araçlarla Karşılaştırma

Ollama ve llama.cpp: Bu popüler araçlar kullanıcı dostudur ancak Linux, macOS veya Windows üzerinde çalışmak zorundadır. Arka planda çalışan işletim sistemi ciddi miktarda RAM ve CPU kaynağı tüketir. NIGHTRUN ise doğrudan çıplak donanım (bare-metal) üzerinde çalışarak tüm RAM'i modele ayırır.
Bare-metal Embedded Runtimes: MicroPython veya RTOS çözümleri daha çok mikrodenetleyicileri hedeflerken, NIGHTRUN doğrudan modern PC ve SBC (Single Board Computer) donanımlarında LLM ve VLM çalıştırmak için özelleşmiştir.

Sonuç olarak NIGHTRUN, uç cihazlarda maksimum yapay zeka performansı elde etmek isteyen geliştiriciler için mükemmel bir deneysel altyapı sunmaktadır.

Orijinal kaynağa buradan ulaşabilirsiniz.