---
title: "Mac Studio Üzerinde MLX ve RDMA ile Yerel ve Dağıtık Büyük LLM Çıkarımı"
url: https://blog.edumints.com/mac-studio-uzerinde-mlx-ve-rdma-ile-yerel-ve-dagitik-buyuk-llm
category: "LLM"
date: 2026-10-16T15:05:06.546Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hacker News"
source_url: https://machinelearning.apple.com/research/mlx-distributed-inference
---

# Mac Studio Üzerinde MLX ve RDMA ile Yerel ve Dağıtık Büyük LLM Çıkarımı

Apple silikonlu Mac bilgisayarlarda çalışan açık kaynaklı dizi çerçevesi **MLX**, yapay zeka araştırmacılarının ve geliştiricilerin en yeni modelleri gizlilik odaklı, yerel bir ortamda deneyimlemesine olanak tanıyor. Apple silikonun **birleşik bellek (unified memory)** mimarisinden yararlanan bu yapı sayesinde, kendi donanımınız üzerinde yeni çıkarım (inference) ve ince ayar (fine-tuning) yöntemlerini çalıştırabilir, farklı yapay zeka tekniklerini keşfedebilirsiniz.

M5 mimarisinin ve içerdiği **GPU Nöral Hızlandırıcıların (GPU Neural Accelerators)** sunduğu avantajlarla birlikte, artık neredeyse bir trilyon parametreye sahip sınır sınıfı (frontier-class) **Muse Spark Open** modelini doğrudan masanızdan çalıştırmak mümkün. Tek bir Mac Studio'dan (512 GB'a kadar birleşik bellek) başlayıp **Thunderbolt üzerinden RDMA** sürücüsüyle birden fazla Mac'e ölçeklenerek çok geniş bir model yelpazesi çalıştırılabiliyor. Dört adet Mac Studio'dan oluşan bir kümede Muse Spark Open, ortalama insan okuma hızının oldukça üzerinde bir performansla **saniyede 36 tokendan fazla** üretim hızına ulaşıyor.

## Muse Spark Open Çözümleme (Decode) Hızı

8.192 tokenlık bağlam (context) boyutunda, M5 Ultra işlemcili Mac Studio bilgisayarlar üzerinde üç farklı paralelleştirme şeması değerlendirilmektedir:
- İki Mac Studio üzerinde **boru hattı paralelleştirmesi (2 M5 Pipeline)**
- İki Mac Studio üzerinde **tensör paralelleştirmesi (2 M5 Tensor)**
- Dört Mac Studio üzerinde **tensör paralelleştirmesi (4 M5 Tensor)**

**Geliştiriciler İçin Pratik Çıkarım:** Büyük modelleri yerel donanımda ölçeklendirirken ağ gecikmesini minimize eden RDMA desteği, tensör paralelleştirmesini çoklu cihaz kurulumlarında darboğaz olmaktan çıkarır. Doğru paralelleştirme stratejisini seçmek, yüksek bağlam boyutlarında bile gerçek zamanlı kullanıcı deneyimi sunmanın anahtarıdır.

## MLX ile Büyük Dil Modellerini Çalıştırmak

`MLX LM` paketi kullanılarak M5 Ultra ve önceki nesil M3 Ultra Mac Studio sistemleri karşılaştırıldığında, M5 neslindeki GPU Nöral Hızlandırıcının makine öğrenimi iş yükleri için kritik olan özel matris çarpımı işlemlerini doğrudan desteklediği görülmektedir. Değerlendirilen üç büyük açık ağırlıklı (open-weight) model şunlardır:

- **Muse Spark Open (816B toplam / 42B aktif parametre):** Çıkarım sırasında yalnızca belirli uzmanları aktif tutarak hesaplama maliyetini düşüren bir **Uzmanlar Karışımı (MoE)** modelidir. Doğal BF16 yerine **NVFP4 (4-bit)** hassasiyetinde değerlendirilmiştir.
- **Mistral Medium 3.5 (128B toplam / 128B aktif parametre):** Çıkarım sırasında tüm parametrelerin aktif olduğu yoğun (dense) mimariye sahiptir ve doğal **FP8** hassasiyetinde değerlendirilmiştir.
- **Qwen 3.8 (27B toplam / 27B aktif parametre):** Yoğun mimariye sahip olup doğal **BF16** hassasiyetinde test edilmiştir.

Performans değerlendirmeleri `mlx_lm.benchmark` aracıyla; **ilk tokena kadar geçen süre (TTFT - saniye)**, **üretim hızı (token/saniye)** ve **tepe güç tüketimi (watt)** olmak üzere üç temel metrik üzerinden ölçülmüştür.

**Geliştiriciler İçin Pratik Çıkarım:** MoE mimarileri ve 4-bit (NVFP4) nicemleme (quantization) teknikleri, devasa modelleri yerel donanımlara sığdırmanın ve düşük güç tüketimiyle yüksek üretim hızı elde etmenin en etkili yoludur. Projelerinizde model seçimi yaparken sadece toplam parametre sayısına değil, aktif parametre sayısına ve donanımınızın desteklediği veri tiplerine odaklanmalısınız.

**İlgili Platform Modülleri:** Ölçeklendirme ve Optimizasyon, Modeller: Hangisi, Ne Zaman?

---

**Kaynak:** Hacker News (https://machinelearning.apple.com/research/mlx-distributed-inference)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/mac-studio-uzerinde-mlx-ve-rdma-ile-yerel-ve-dagitik-buyuk-llm