Jailbreak Yapılmış PS5 Üzerinde Llama.cpp: Herhangi Bir GGUF Modelini Konsolda Yerel Olarak Çalıştırın

PS5LM, jailbreak yapılmış bir PlayStation 5 konsolunu evinizde tamamen özel bir dil modeli sunucusuna dönüştüren yenilikçi bir projedir. Konsolunuzun GPU'su üzerinde llama.cpp çalıştırarak GGUF formatındaki modelleri yükler; dizüstü bilgisayarınıza, telefonunuza ve kodlama araçlarınıza yerel ağ üzerinden hizmet verir. Çalışırken ek bir bilgisayara, bulut bağlantısına veya kullanıcı hesabına ihtiyaç duymaz.

Yeni: Ollaya destekli karar modelleri. PS5LM artık GPU üzerinde Jev benzeri karar modellerini (d1, Clef, OpenJev vb.) çalıştırabiliyor ve Ollaya ile aynı /v1/systemone API'sine yanıt vererek saniyenin çok küçük bir diliminde kalibre edilmiş olasılıklarla tip güvenli kararlar üretebiliyor.

Televizyonunuzun Altındaki Model Sunucusu#

Bir oyun konsolunun yerel AI çıkarım (inference) sunucusuna dönüştürülmesi, donanım kaynaklarının yazılım mühendisliğiyle nasıl yeniden değerlendirilebileceğini gösteren7 temel özellikle öne çıkıyor:

• GPU üzerinde çalışır: Konsolun RDNA 2 GPU'su üzerinde llama.cpp Vulkan arka ucunu kullanır; model ve bağlam (context) için paylaşımlı belleğin 11.4 GB'lık kısmını ayırır. llama.cpp tarafından desteklenen tüm mimariler ve kuantizasyon (quantization) formatları sorunsuz çalışır.
• Ağınıza yanıt verir: OpenAI'ın /v1/chat/completions ve Anthropic'in /v1/messages (Claude Code ile doğrudan uyumlu) uç noktalarını ve tarayıcı tabanlı bir sohbet sayfasını sunar. İstemcinizi http://console:8081 adresine yönlendirip herhangi bir model adı belirtmeniz yeterlidir; yüklü olan model yanıt verir.
• Karar da verir: Bir karar modeli yüklendiğinde konsol, TypeSafe'in /v1/systemone API'si üzerinden metin ve görseller hakkındaki seçim, puanlama ve evet/hayır sorularını yanıtlar.
• Yaptığı işi gösterir: Her istek televizyon ekranında canlı bir sohbet akışı olarak görünür; hangi cihazın ne sorduğu ve yanıtın yazılış süreci anlık izlenebilir. Kontrolcüdeki Kare tuşu bir demo gönderirken, Üçgen tuşu ekran klavyesini açar.
• Konsolu izler: Özel bir Konsol sayfası; sıcaklık, güç tüketimi, GPU ve CPU yükünü son iki dakika veya son bir saatlik grafiklerle ve detaylı ölçüm tablolarıyla sunar.
• Uygun olanı seçer: Planlayıcı bileşeni her GGUF dosyasını okur ve boş belleğe sığacak en uzun bağlamı ve en iyi önbellek (cache) ayarını otomatik belirler. Uygulama, konsolda test edilmiş önerilen modelleri Hugging Face üzerinden doğrudan dahili depolamaya, M.2 sürücüsüne veya USB belleğe indirebilir.
• Görselleri okur: Görüntü projektörüne sahip çok modlu modeller (Gemma 4, MiniCPM-V, d1), hem sohbetlerde hem de karar süreçlerinde görsel girdileri işleyebilir.

PS5 Slim Üzerinde Performans Ölçümleri ve Geliştirici Çıkarımları#

Donanım kısıtlamaları altında kuantizasyon tekniklerinin önemini gösteren PS5 Slim test sonuçları şu şekildedir:

• Qwen 3.5 0.8B (Q4_K_M - 0.5 GB): Saniyede 207 token.
• Qwen 3.5 9B (Q4_K_M - 5.3 GB): Saniyede 55 token.
• Qwen 3.8 27B (UD-Q2_K_XL - 9.2 GB): 64k bağlam ile saniyede yaklaşık 20 token.
• d1 Omni 600M (Karar modeli - 1.1 GB): 0.3 saniyede 3 soru; 720p bir görsel ve 7 soru için 2.9 saniye.

Ollaya Destekli Karar Modelleri ve Pratik Çıkarımlar#

Ollaya, Ollama'nın dil modellerini çalıştırdığı gibi açık karar modellerini çalıştırır. Yazılım geliştiriciler için bu proje; standartlaştırılmış API protokollerinin (OpenAI/Anthropic uyumluluğu) ve Vulkan gibi çapraz platform grafik katmanlarının, standart dışı donanımları bile güçlü birer yerel AI mikroservisine dönüştürebildiğini kanıtlayan harika bir mühendislik örneğidir.