OpenTPU – Yapay Zeka Tarafından Geliştirilen Açık Kaynaklı AI Hızlandırıcısı

OpenTPU, auto-arch-tournament deneyimlerini yapay zeka hızlandırıcılarına taşıyan ve bizzat yapay zeka ajanları tarafından tasarlanan açık kaynaklı bir donanım projesidir. Proje, modern donanım mühendisliğinde iki kritik sorunun yanıtını aramaktadır:

• Yapay zeka ajanları donanım tasarımında ne kadar ileri gidebilir?
• Kendi çıkarımlarını (inference) çalıştıracak çipi kendileri inşa edebilir mi?

Sistem mimarisi; FPGA kartı üzerinde otpu-chat ile modelleri çalıştırırken, otpu-smi aracıyla donanımın anlık kullanım oranını ve DRAM bant genişliğini gerçek zamanlı izleme olanağı sunar.

Öğrenme Alanı: Baştan Sona Bir Monorepo#

OpenTPU aynı zamanda kapsamlı bir eğitim ve araştırma projesidir. Hızlandırıcının tüm mimarisi, baştan sona okunabilecek kompakt bir monorepoda toplanmıştır. Python seviyesindeki bir matris çarpımından (matmul) en alt seviyedeki fiziksel devrelere kadar bir yapay zeka hızlandırıcısının nasıl çalıştığını kavramak isteyen geliştiriciler için ideal bir başlangıç noktasıdır. Repo içinde şu beş temel bileşen yer alır:

• Donanım Tasarımı (SystemVerilog / RTL): FPGA üzerinde koşan mantıksal çip mimarisi.
• Komut Kümesi Mimarisi (ISA): Hızlandırıcıya özgü tasarlanmış komut seti.
• Bit Düzeyinde Kesin Simülatör: Donanım davranışını bit düzeyinde doğrulayan simülasyon ortamı.
• Çekirdek Dili ve Derleyici: Hesaplama çekirdeklerini derleyen yazılım araç zinciri.
• Ana Bilgisayar Yazılımı (Host Software): Fiziksel PCIe kartını doğrudan yöneten sürücü ve kontrol katmanı.

Sonuçlar ve Performans Başarımı#

Tasarım; Inspur YPCB-00338 kartı (Xilinx Kintex-7 xc7k480t, çift DDR3 kanalı) üzerinde on modern modeli gerçek ağırlıklarıyla çalıştırmakta ve kart, simülatörle bit düzeyinde birebir aynı token çıktılarını üretmektedir:

• LFM2.5-230M: int8 ile 52.3 tok/s, 4-bit ile 82.1 tok/s decode hızına ve tepe DRAM bant genişliğinin %85'ine ulaşmaktadır.
• Qwen3-0.6B: 4-bit ağırlıklarla 30.7 tok/s üretim hızı ve %82 bellek verimliliği sağlamaktadır.
• Qwen3.5-0.8B: 4-bit yapılandırmada 23.3 tok/s decode hızına ve %83 DRAM bant genişliğine çıkmaktadır.
• Gemma 4 (E2B ve E4B): 4-bit mimaride %91–94 aralığında DRAM doygunluğu sergilemektedir.
• Geniş Parametreli Modeller (LFM2-2.6B, SmolLM3-3B, Phi-4-mini, Qwen3.5-2B/4B): 15.7–16.1 GB/s transfer hızlarıyla tepe DRAM kapasitesinin %94'üne varan yüksek bellek doygunluğu elde etmektedir.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

OpenTPU projesinin mimari yaklaşımı, sistem yazılımcıları ve yapay zeka mühendisleri için değerli içgörüler sunar:

• Donanım-Yazılım Birlikte Tasarımı (Co-Design): Model performansını maksimize etmek yalnızca Python katmanında optimizasyon yapmayı değil; ISA mimarisi, derleyici mantığı ve alt seviye donanım uyumunu anlamayı gerektirir.
• Bellek Bant Genişliği Darboğazı: Test edilen modellerde DRAM kullanımının %94 seviyesine ulaşması, LLM çıkarımında temel darboğazın hesaplama birimlerinden ziyade veri aktarım hızı olduğunu açıkça kanıtlamaktadır.
• Bit Düzeyinde Doğrulama Yaklaşımı: Simülatör ile gerçek PCIe donanımının bit düzeyinde birebir aynı çıktıyı üretmesi, karmaşık sistem geliştirmede test güdümlü doğrulamanın (TDD) vazgeçilmezliğini ortaya koyar.
• Uçtan Uca Görünürlük: Tek bir monorepoda RTL kodundan sürücü yazılımına kadar tüm adımların bulunması, geliştiricilerin yapay zeka hızlandırma süreçlerindeki "kara kutuları" aşarak derinlemesine uzmanlaşmasını sağlar.