---
title: "1.58-Bit (BitNet) Dil Modeli Çalıştıran ESP32-S3 Kümesi"
url: https://blog.edumints.com/158-bit-bitnet-dil-modeli-calistiran-esp32-s3-kumesi-6nj56r1k
category: "LLM"
date: 2026-09-29T07:14:27.804Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hacker News"
source_url: https://github.com/Low-Zi-Hong/ESP32s3-LLM-Cluster
---

# 1.58-Bit (BitNet) Dil Modeli Çalıştıran ESP32-S3 Kümesi

## Genel Bakış
ESP32s3-LLM-Cluster projesi, 1.58-bit (BitNet) üçlü kuantizasyon (ternary quantization) tekniğini kullanarak 0.5B parametreli bir büyük dil modelini (LLM) 7 adet ESP32-S3 mikrodenetleyiciden oluşan bir küme üzerinde dağıtık ardışık düzen (pipeline inference) ile çalıştıran açık kaynaklı bir donanım/yazılım uygulamasıdır.

## Mimari (Architecture)
Proje, dil modelini dilimleyerek (sliced LLM) 7 adet ESP32-S3 kartı arasına dağıtır. Kartlardan biri **Master** (yönetici), diğer altısı ise **Compute Node** (hesaplama düğümü) olarak yapılandırılmıştır. Düğümler arası iletişim yüksek hızlı **SPI Daisy-Chain** hattı üzerinden gerçekleştirilir:

- **Master Düğüm (Giriş Aşaması):** BPE Tokenizer ile kullanıcı istemini işler ve INT4 formatındaki (~14MB Flash) Token Embedding katmanını çalıştırır. Ürettiği FP32 gizli durum vektörünü (Hidden State Vector) SPI Kanal A üzerinden 1. Hesaplama Düğümüne iletir.
- **Hesaplama Düğümleri (Node 1 - Node 6):** Modelin Transformer bloklarını sırayla yürütür (her düğüm 4 katman üstlenir; örneğin Node 1 Katman 0–3, Node 6 Katman 20–23):
  - **RMSNorm:** FP16'dan FP32'ye ölçeklenir.
  - **1.58-bit Attention:** Q, K, V, O projeksiyonları ve RoPE desteği.
  - **KV Cache:** PSRAM üzerinde saklanır.
  - **1.58-bit MLP:** Gate, Up ve Down projeksiyonları.
- **Master Düğüm (Çıkış Aşaması):** Node 6'dan dönen veriyi SPI Kanal B üzerinden teslim alır. 'fnorm' bölümündeki (64KB, FP16) Final RMS Norm katmanını uygular, INT4 embedding tablosuna bağlı LM Head üzerinden **Greedy Sampling** yürüterek bir sonraki token ID'sini üretir.

## Başlarken (Getting Started)
Projeyi başlatmak, donanım kablolamasını yapmak ve modeli derleyip kartlara flaşlamak için adım adım yönergeler sunan `workflow.md` rehberi takip edilmelidir.

## Proje Yapısı (Project Structure)
- **README.md:** Genel proje dokümantasyonu ve mimari açıklamaları.
- **workflow.md:** Adım adım flaşlama, model hazırlığı ve bağlantı rehberi.
- **.gitignore:** Derleme dosyaları ve ikili çıktılar için Git yoksayma kuralları.
- **docs/images/:** Mimari diyagramları ve donanım bağlantı fotoğrafları.
- **master_board/:** Master düğümün ESP-IDF ürün yazılımı (`main.cpp`, `embedding.cpp`, `lm_head.cpp`, `spi_bus.cpp`).
- **partitions.csv:** Flash için özel bellek bölümleme tablosu (token, model, fnorm).

## Yazılım Geliştirme ve Öğrenme Çıkarımları
Uç cihazlarda (Edge AI) yapay zeka modelleri çalıştırmak isteyen geliştiriciler için bu mimari şu pratik kazanımları sağlar:
- **Ternary Kuantizasyon:** BitNet (-1, 0, 1) ağırlıkları bellek kullanımını dramatik biçimde düşürür ve yoğun matris çarpımlarını basit toplama/çıkarma işlemlerine dönüştürerek mikrodenetleyicilerde LLM çıkarımını uygulanabilir kılar.
- **Boru Hattı Paralelliği (Pipeline Parallelism):** Büyük bir modeli tek bir çipe sığdırmak yerine ardışık SPI bağlantısıyla katmanlara bölmek, düşük maliyetli donanımlarla yatay ölçekleme yapmanın verimli bir yoludur.
- **Bellek Hiyerarşisi Yönetimi:** Flash bölümleri ile harici PSRAM'in doğru ayrıştırılması, gömülü sistemlerde KV Cache darboğazlarını aşmanın temel anahtarıdır.

[[Orijinal kaynağa buradan ulaşabilirsiniz.](https://github.com/Low-Zi-Hong/ESP32s3-LLM-Cluster)](https://github.com/Low-Zi-Hong/ESP32s3-LLM-Cluster)

---

Bu konuyu derinlemesine öğrenmek isterseniz: [Edge Runtime ve Production Optimizasyonu](https://edumints.com/kesfet/nextjs-ve-vercel-ai-sdk-ile-production-ai-uygulama-21y7) modülüne göz atın.

---

**Kaynak:** [Hacker News](https://github.com/Low-Zi-Hong/ESP32s3-LLM-Cluster)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/158-bit-bitnet-dil-modeli-calistiran-esp32-s3-kumesi-6nj56r1k