Specter: Kuantizasyon Destekli Çok Adımlı Spekülatif Offloading ile Hızlı MoE Çıkarımı
MoE Modellerinde Bellek Sınırları ve PCIe Darboğazı Uzmanların Karışımı (Mixture-of-Experts - MoE) mimarisine sahip büyük dil modelleri, toplam parametre…
MoE Modellerinde Bellek Sınırları ve PCIe Darboğazı Uzmanların Karışımı (Mixture-of-Experts - MoE) mimarisine sahip büyük dil modelleri, toplam parametre…
Yeniden Sıralamaya Yeni Bir Bakış: Sistem 1 Kararları Çok modlu yeniden sıralayıcılar (multimodal rerankers) genellikle özel olarak eğitilmiş modellerdir: Bir…
Deneyim Birikimi ve Soyutlama İkilemi Büyük Dil Modeli (LLM) ajanları, model parametrelerini güncellemeye gerek kalmadan kendi çalışma geçmişlerinden elde…
ABD İç Güvenlik Bakanlığı (DHS), ulusal güvenlik endişelerini gerekçe göstererek federal sivil kurumlara Çinli yapay zeka girişimi DeepSeek tarafından…

Ajan tabanlı (agentic) yapay zeka sistemlerinde karşılaşılan kendine has bir güven hatası türü vardır. Bu hata, hiç var olmamış bir kişinin özgüvenle…
DeepInfer, DeepSeek'in büyük ölçekli üretim servislerine güç veren yüksek performanslı çıkarım (inference) çerçevesidir. Bu açık kaynaklı sürüm, büyük ölçekte…
Cloudflare ve VoidZero, Owner.com'dan Max Schwenk ile birlikte TypeScript derleyicisinin Rust diline taşınmış (port edilmiş) bir versiyonu olan tsrs üzerinde…
Geçtiğimiz Kasım ayında tanıtılan AnyLanguageModel, Apple'ın Foundation Models çatısına doğrudan alternatif (drop-in replacement) olarak geliştirildi. Yerel…
Mac cihazınızda model çalıştırıyor veya temel hızlandırma aracınız olarak MPS (Metal Performance Shaders) kullanıyorsanız, PyTorch 2.15 sürümü iş akışlarınızı…