Dizüstü Bilgisayarınızda Küçük Dil Modelleri: Uygulamalı Saha Rehberi

Küçük dil modeli (SLM), tüketici sınıfı donanımlarda çalışabilecek kadar kompakt olan bir dil modelidir: genellikle 10 milyar parametrenin altındadır ve bir dizüstü bilgisayarın belleğine sığması için nicemleme (quantisation) ile sıkıştırılmıştır. Size verilerinizin cihazınızdan asla çıkmadığı, çevrimdışı, mesaj başına sıfır maliyetli ve gizlilik odaklı bir asistan sunar; bu, hiçbir bulut API'sinin vaat edemeyeceği bir özelliktir. Yazılım geliştiriciler için bu durum, API faturaları veya veri gizliliği endişesi olmadan yerel ortamda kod tamamlama, hata ayıklama ve hızlı prototipleme yapabilme özgürlüğü anlamına gelir.

Temel Çıkarımlar#

• Modeli hedeflerinize göre değil, RAM kapasitenize göre seçin: 4-bit düzeyinde 4B parametreli bir model, bağlam alanı hariç 3 ila 4 GB boş belleğe ihtiyaç duyar; bu nedenle 8 GB dizüstü bilgisayarlar 3-4B sınıfına, 16 GB makineler 8B sınıfına yerleşirken, 24 GB bellek 12-14B modellerin kapısını açar.
• 2026'daki en iyi varsayılan seçenek Qwen3.5 4B modelidir: Apache 2.0 lisansı, 3.3 GB Ollama indirme boyutu, 262.144 token doğal bağlam penceresi, görsel yetenekler ve araç kullanımını (tool use) tek pakette sunar; bellek kısıtlıysa Phi-4 Mini 3.8B (~2.5 GB, MIT lisansı) en hafif ciddi seçenektir ve Qwen3.5 2B ise 4 GB makineler için uygundur.
• Kıyaslama (benchmark) sonuçlarına temkinli yaklaşın: Buradaki veriler farklı kurulumlarla üreticiler tarafından raporlanmıştır; her skoru kesin bir gerçek olarak değil, yalnızca yön gösterici bir işaret olarak değerlendirin.
• Kritik çıktıları mutlaka doğrulayın: Küçük modeller taslak oluşturma, özetleme ve kodlama yardımında mükemmeldir ancak zorlu akıl yürütme görevlerinde bulut modellerinin gerisinde kalır ve kendinden emin bir şekilde hatalı bilgi üretebilir.

Üç yıl önce dizüstü bilgisayarda faydalı bir dil modeli çalıştırmak yalnızca ilginç bir gösteri gibi duyuluyordu. Modeller çok büyüktü, araçlar çok hamdı ve bulut ile arasındaki kalite farkı oldukça fazlaydı. Bugün bu üç unsur da tamamen değişti. GGUF gibi nicemleme formatları 4 milyar parametreli bir modeli 3-4 GB boyutuna sıkıştırıyor, Ollama ve LM Studio gibi araçlar kurulumu tek satırlık bir komuta indirgiyor ve günümüzün küçük modelleri günlük geliştirici görevlerini o kadar iyi karşılıyor ki pek çok yazılımcı önce yerel modele başvuruyor.

Ne "Küçük" Dil Modeli Sayılır?#

Pratikte "küçük" kavramı, tek bir tüketici bilgisayarında çalışabilen 0.5 ile 14 milyar parametre arasındaki modelleri ifade eder. Bunu mümkün kılan şey, ağırlıkları 16 bit yerine genellikle 4 bit gibi azaltılmış hassasiyette saklayan nicemleme (quantisation) tekniğidir. GGUF formatı ve llama.cpp motoru, 4-bit modelleri yerel kullanım için standart hale getirmiştir ve çoğu Ollama kütüphane etiketi doğrudan 4-bit (q4_K_M) olarak gelir.

Temel kural şudur: 4-bit hassasiyette bir model, yalnızca ağırlıklar için milyar parametre başına yaklaşık 0.6 ila 0.8 GB belleğe ve ek olarak bağlam penceresi yüküne (KV önbelleği) ihtiyaç duyar. Yani 4B bir model sadece yüklenmek için 3-4 GB belleğe, uzun konuşmalar için ise daha fazlasına gereksinim duyar. Önce RAM kapasitesine, sonra kıyaslama testlerine göre model seçimi yapmalısınız.

Sürekli karşılaşacağınız iki önemli kavram daha vardır: Bağlam penceresi (context window), modelin aynı anda işleyebileceği metin miktarıdır; Qwen3.5 4B doğal olarak 262.144 token desteklese de Ollama, 24 GiB altında VRAM bulunan cihazlarda bunu varsayılan olarak 4.096 ile sınırlar (bunu manuel olarak artırabilirsiniz). İkinci kritik nokta ise lisanstır: Apache 2.0 ve MIT lisanslı modeller ticari yazılım projelerinde hiçbir kısıtlama olmadan güvenle kullanılabilir.

Gerçekte Ne Kadar RAM'e İhtiyacınız Var?#

Aşağıdaki eşleştirme kutu üzerindeki toplam RAM'e göre değil, boş belleğe göredir. İşletim sisteminiz, tarayıcınız ve IDE'niz de RAM tükettiği için "16 GB bir dizüstü bilgisayar" aslında model için 10 ila 12 GB kullanılabilir alan demektir:

• 4 GB makineler: Qwen3.5 2B (~2.7 GB indirme) veya 0.8B (~1.2 GB; yalnızca basit sınıflandırma ve kısa yeniden yazımlar için uygundur).
• 8 GB dizüstü bilgisayarlar: 3 ila 4B sınıfı; Qwen3.5 4B (3.3 GB) öne çıkan ana tercihken, Phi-4 Mini 3.8B (~2.5 GB) en hafif ve güvenilir alternatiftir.
• 16 GB dizüstü bilgisayarlar: 7 ila 9B parametreli modeller bu donanım seviyesinde rahatlıkla çalıştırılabilir.