Architecture Atlas: Açık Kaynak LLM Mimarilerini Okuma

Yeni çıkan bir açık ağırlıklı dil modelinin teknik raporunu açtığında karşına karmaşık terimler çıkar. Llama, DeepSeek, Qwen ve Gemma ilk bakışta bambaşka mimariler gibi görünür. Oysa bugün indirebildiğin her büyük dil modeli temelde aynı makinedir. Kalıntı akışıyla (residual stream) birbirine bağlanan, her birinde dikkat (attention) ve ileri beslemeli (feed-forward) katman bulunan özdeş blokların üst üste dizilmesiyle çalışırlar. Modeller arasındaki farkı ise seçilen birkaç temel parça belirler.

Token'lardan yapay zeka ajanlarına uzanan, kaydırma odaklı animasyonlar, çalıştırılabilir Python kodları ve kısa testler barındıran 43 etkileşimli sayfadan oluşan ücretsiz ve açık kaynaklı LLM Explained kursuna eklenen Architecture Atlas, bu parça seçimlerini görselleştiriyor. Yüz otuzdan fazla model mimarisini karşılaştıran araç, her yeni model sürümünü sıfırdan çözülmesi gereken bir gizem olmaktan çıkarıp önceki mimarilerle kıyaslanan net bir fark (diff) tablosuna dönüştürüyor.

Aynı İskelet Üzerindeki Beş Temel Karar Noktası#

Bir dil modelinin mimari kimliğini beş soruya verilen yanıt şekillendirir:

• Normalizasyon tercihi: LayerNorm mu yoksa RMSNorm mu kullanılıyor, ayrıca bu işlem alt katmandan önce mi (pre-norm) yoksa sonra mı (post-norm) uygulanıyor?
• Konum kodlaması: Sinüzoidal, öğrenilmiş, RoPE veya konumsuz yapı mı seçilmiş?
• Anahtar ve değer (K/V) başlık sayısı: Çok başlıklı dikkat (MHA), gruplanmış sorgu dikkati (GQA) veya çok başlıklı örtük dikkat (MLA) mi tercih edilmiş?
• Dikkat kapsamı: Tam, pencereli, seyrek (sparse) veya doğrusal dikkat mi var?
• MLP katmanı: Yoğun (dense) yapı mı, SwiGLU ya da GeGLU gibi kapılı bir ağ mı yoksa uzmanların karışımı (MoE) mı kullanılıyor?

Bu beş tercihin tarihsel değişimi üç dönemde incelenebiliyor. 2017'deki Attention Is All You Need makalesiyle gelen ilk dönem; iki kuleli kodlayıcı-kod çözücü yapısı, katman sonrası normalizasyon, sinüzoidal konumlar ve iki kuleyi bağlayan çapraz dikkat içeriyordu. 2019'da GPT tarzı kod çözücüyle birlikte kodlayıcı ve çapraz dikkat kalktı. İstem ile yanıt tek dizide birleşirken normalizasyon alt katmanların önüne taşındı. 2023 ve sonrasında ise modern açık model bloğu yerleşti: RMSNorm, dikkat katmanı içinde döner konum kodlaması (RoPE), KV cache kullanan GQA ve SwiGLU MLP ya da MoE yapısı standartlaştı.

Yapılandırma Dosyasından Üretilen Somut Mimari Farklar#

Kağıt üzerindeki bu ayrımlar, DeepSeek-V3 ile Gemma 3 yan yana konduğunda pratikte ne ifade ettiğini hemen gösterir. Sayılar elle çizilmek yerine doğrudan modellerin yapılandırma dosyalarından hesaplanır.

DeepSeek-V3 mimarisinde çok başlıklı örtük dikkat (MLA) yer alır. Model, 128 adet K ve V başlığını saklamak yerine token başına 576 sayıdan oluşan tek bir örtük (latent) vektör önbelleğe alarak KV cache boyutunu 57 kat küçültür. İleri beslemeli katmanda ise token başına 8 tanesi aktifleşen 256 yönlendirilmiş uzman ve bir paylaşımlı uzman çalışır. Gemma 3 tarafına geçtiğinde tablo tamamen değişir. Yerel ve küresel dikkat katmanları ardışık dizilir, her alt katmanın hem öncesinde hem sonrasında normalizasyon uygulanır, gömme (embedding) ağırlıkları bağlanır ve modele görüntü girdisi eklenir.

Llama, Mistral, Qwen, DeepSeek, Kimi, Gemma, Phi ve gpt-oss ailelerini kapsayan 14 farklı yapılandırma, yuvarlanmış "1T" boyutuyla paylaşılan Kimi K2 dışında, yayımlanan resmi parametre sayılarını yüzde 0,3 hata payı içinde birebir yeniden üretiyor. Sisteme yeni bir model eklemek için tek bir yapılandırma kaydı girmek yetiyor; diyagram, özellik kartı, fark görünümü ve matris bu kaydı otomatik olarak devralıyor.

Geliştirici ve Öğrenci İçin Pratik Çıkarım#

Kendi sisteminde model seçerken veya bellek tüketimini hesaplarken modelleri kapalı kutular olarak görmeyi bırakabilirsin. Bir modelin yapılandırma dosyasını açtığında GQA ya da MLA tercihine bakarak KV cache yükünü, MoE yapısındaki aktif uzman sayısına bakarak çıkarım (inference) sırasındaki hesaplama maliyetini doğrudan öngörebilirsin.

Aracı incelerken herhangi bir bloğa tıklayıp Intuition / Mechanics / Maths derinlik anahtarından Mechanics görünümüne geçerek tensör boyutlarını adım adım takip edebilirsin. Diyagramların altında yer alan RoPE (M5), MLA (M10), KV cache (M11) ve MoE (M12) gibi kavram etiketleri üzerinden doğrudan ilgili eğitim modülüne geçip eksik olduğun matematiksel veya mekanik temeli çalıştırılabilir Python örnekleriyle tamamlayabilirsin.

---

Bu konuyu derinlemesine öğrenmek istersen: Modeller: Hangisi, Ne Zaman? modülüne göz at.