Bulut Faturası Ödemeden Dizüstü Bilgisayarda 145 Milyar Parametreli Yapay Zeka Çalıştırmak

Yerel donanımda büyük dil modeli çalıştırırken hep aynı ikilemle karşılaşırsın: ya bilgisayarına sığan ama karmaşık işlerde tıkanan küçük bir model seçersin ya da güçlü bulut modellerine yönelip API faturası, veri gizliliği kısıtlamaları ve internet bağımlılığıyla uğraşırsın. Büyük modeller doğası gereği yüksek bellek, bant genişliği ve güç tüketir. Edge0 ekibinin açık kaynaklı olarak yayımladığı Edge0-145B ve Edge0-120B modelleri, birleşik çıkarım (inference) çatısı ve dağıtım araçlarıyla birlikte bu dengeyi değiştiriyor.

Edge0-145B, 145 milyar parametreye sahip ilk açık kaynaklı cihaz içi (on-device) yapay zeka modeli olarak öne çıkıyor. Sunucuya ihtiyaç duymadan, MacBook Pro gibi uyumlu bir dizüstü bilgisayarda doğrudan çalışabiliyor. Bulut tabanlı öncü modellerle yarışan kodlama, akıl yürütme ve ajan yeteneklerini yerel ortama taşıyor.

Dizüstü Bilgisayarda 145 Milyar Parametre Nasıl Çalışıyor?#

Yüz milyarlarca parametreli bir modeli kişisel bilgisayarda kullanabilmek için modelin belleğe sığması, girdileri hızla işlemesi ve uzun görevlerde performans kaybetmemesi gerekir. Güç tüketimi de kontrol altında kalmalı. Edge0-145B'nin uyumlu dizüstü bilgisayarlar için paylaşılan performans verileri, yerel donanımda nelerin mümkün olduğunu somutlaştırıyor:

• Bellek kullanımı: En yüksek (peak) 29 GB bellek tüketimiyle çalışıyor; farklı bir dizüstü karşılaştırmasında ise bu değer 28 GB olarak ölçülüyor.
• Girdi işleme (prefill) hızı: Saniyede 1.100'den fazla token işleyerek onlarca sayfalık kod dosyalarını içeren uzun prompt'ları yanıt üretimi başlamadan önce hızla okuyor.
• Üretim (decode) hızı: Saniyede 80 token'ın üzerine çıkarak insan okuma hızını geride bırakıyor.
• Bağlam penceresi: 128K-256K uzunluğundaki bağlam penceresiyle uzun girdilerde de neredeyse aynı hızı koruyup kapsamlı görevleri sürdürebiliyor.
• Güç tüketimi: Paylaşılan kurulumda yaklaşık 120W tipik güç harcayarak hız kısıtlamasına (throttling) takılmadan çalışmaya devam ediyor.

Ekibin daha önce telefonlar için çıkardığı Edge0-35B modeli, iPhone 18 Pro Max üzerinde yaklaşık 2,5 GB bellek kullanarak saniyede 37'den fazla token üretiyordu. Dört kat daha fazla parametreye sahip olan Edge0-145B ise bu mimari verimliliği dizüstü bilgisayar ölçeğine taşıyor. Temmuz 2025 öncesi sürümleri de kapsayan ve 14 laboratuvarın telefon, dizüstü veya AI PC'ler için geliştirdiği en az 1 milyar parametreli 67 açık modeli izleyen ölçek grafiği, cihaz içi modellerin ulaştığı yeni sınırı gösteriyor.

Geliştirici ve Öğrenciler İçin Neyi Değiştiriyor?#

Kod yazarken veya proje geliştirirken bulut API'lerine bağımlı kalmak maliyetlidir. Yerel çıkarım yaptığında bulut sağlayıcılarına token veya API ücreti ödemezsin. Elbette donanım ve elektrik maliyeti devam eder ama tekrarlayan abonelik veya kullanım faturası ortadan kalkar. Üstelik hassas verilerin ve kaynak kodların bilgisayarından dışarı çıkmaz, internet bağlantın koptuğunda bile temel yetenekler çevrimdışı çalışmayı sürdürür.

Modelin ajan yetenekleri iş akışını doğrudan etkiliyor. Yalnızca sorulara yanıt vermekle kalmayan iyi bir asistan, işi baştan sona tamamlamalı. Edge0-145B plan yapıyor, kodu yazıp çalıştırıyor, çıkan hataları ayıklıyor ve üretilen sonuçları görsel olarak kontrol edebiliyor. Bu sayede 3B sahneler, oyunlar, donanım programları ve PCB (baskı devre kartı) tasarımları gibi projelerde uçtan uca görev alabiliyor. Talimat takibi, akıl yürütme ve kodlama görevlerinde belirli öncü bulut modelleriyle rekabetçi sonuçlar veriyor.

Bu Araçlarla Neler Yapabilirsin?#

Edge0 ekibi sonuçları yeniden üretebilmen, modelleri değerlendirmen veya kendi ürünlerine entegre edebilmen için tüm yazılım yığınını açık olarak sunuyor. Hemen denemek ve projelerinde kullanmak için üç farklı yoldan ilerleyebilirsin:

• Edge0 App uygulamasını indirerek modeli doğrudan kendi bilgisayarında test edebilir, çevrimdışı kodlama veya tasarım asistanı olarak kullanabilirsin.
• Açık kaynaklı model ağırlıklarını (model weights) indirip kendi veri setlerinle ince ayar (fine-tuning) yapabilir ve modeli özel görevlere uyarlayabilirsin.
• Paylaşılan birleşik çıkarım çatısını (inference framework) ve dağıtım araçlarını inceleyerek yerel yapay zeka yeteneklerini geliştirdiğin masaüstü uygulamalarına entegre edebilirsin.

Donanımın sınırlarını zorlayan bu yapı, sunucu kiralama zorunluluğunu ortadan kaldırarak büyük ölçekli yapay zeka geliştirmeyi kişisel bilgisayarlara indiriyor.

---

Bu konuyu derinlemesine öğrenmek istersen: Modeller: Hangisi, Ne Zaman? modülüne göz at.