Samsung'dan Yapay Zeka Hızlandırıcılarına Doğrudan Bellek İstifleyen zHBM ve zNAND-O Prototipi

Samsung Electronics, hızla büyüyen yapay zeka pazarındaki konumunu güçlendirmek amacıyla yeni nesil 3D bellek teknolojileri olan zHBM (z eksenli Yüksek Bant Genişlikli Bellek) ve zNAND-O mimarilerini duyurdu. California'da düzenlenen Future of Memory and Storage (FMS) 2026 konferansında sergilenen prototipler; yüksek başarımlı hesaplama (HPC) ve büyük yapay zeka iş yüklerinde bellek darboğazını (Memory Wall) aşmayı, enerji verimliliğini ve veri işleme hızını en üst seviyeye çıkarmayı hedefliyor.

zHBM: Yeni Mimariyle 8 Kata Kadar Daha Yüksek Performans

Geleneksel mimarilerde HBM birimleri, yapay zeka hızlandırıcısının (xPU) etrafına 2.5D formatında yatay olarak yerleştirilir. Samsung, bu geleneksel yaklaşımın yeni nesil yapay zeka altyapılarının performans taleplerini karşılamada fiziksel sınırlara ulaştığını vurguluyor.

zHBM mimarisi, belleği doğrudan xPU'nun üzerine dikey olarak (z ekseni boyunca) istifleyerek veri yolunu radikal biçimde kısaltıyor:

Ultra Yüksek Veri İşleme Hızı: 8. nesil HBM (HBM5) ile kıyaslandığında 8 kata kadar daha yüksek veri işleme performansı sunuyor.
Enerji ve Termal Verimlilik: Watt başına performansı 3 katına çıkarırken, termal direnci yarıdan fazla (%50+) azaltarak sistem kararlılığını artırıyor.
Özelleştirilebilir 3D IP Katmanı: Bellek ile hızlandırıcı arasındaki ara katmana müşteriye özel yarı iletken IP bloklarının eklenmesine imkan tanıyarak belirli iş yüklerine özel optimizasyon sağlıyor.

Yazılım Geliştiriciler İçin Pratik Çıkarım: Büyük dil modellerinin (LLM) eğitimi ve çıkarımı (inference) sırasında yaşanan gecikmelerin temel nedeni çoğu zaman hesaplama gücü değil, bellek bant genişliğidir (memory-bound). Dikey istifleme mimarisi, KV cache operasyonlarındaki transfer süresini kısaltarak LLM servis maliyetlerini düşürür ve kernel seviyesinde bellek bekleme sürelerini en aza indirir.

HBM Benzeri zNAND-O ve Cihaz İçi (On-Device) Yapay Zeka

Samsung, geliştirme aşamasında olan yeni nesil yüksek performanslı flash bellek ailesi zNAND-O teknolojisini de tanıttı. Dikey V-NAND mimarisini TSV (Through-Silicon Via - Silikon İçi Geçit) teknolojisiyle birleştiren zNAND-O, High Bandwidth Flash (HBF) yapısına benzer bir yaklaşım sunuyor. Model adındaki "O" harfi doğrudan on-device (cihaz içi) yapay zeka uygulamalarını simgeliyor:

TSV ile Dikey Bağlantı: HBM'de kullanılan dikey elektriksel geçitler NAND katmanlarına uyarlanarak okuma bant genişliği ciddi oranda artırıldı.
3D Paketleme: 4 ve 8 katmanlı 3D konfigürasyonlarla yüksek alan tasarrufu ve ultra hızlı tepki süreleri elde edildi.
Gerçek Zamanlı Veri İşleme: Büyük veri kütlelerinin yerel aygıtlarda gecikmesiz işlenmesi hedeflendi.

Yazılım ve Sistem Mimarisi Açısından Çıkarım: Uç cihazlarda (Edge AI) çalışan küçük dil modelleri (SLM) için RAM kapasitesi en büyük kısıttır. zNAND-O, depolama birimi ile bellek arasındaki hız farkını kapatır. Bu durum, model ağırlıklarının diskten belleğe aktarılma süresini kısaltarak cihaz içi yapay zeka modellerinde daha akıcı ve düşük gecikmeli bir kullanıcı deneyimi sağlar.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.