Karşınızda Beam: Sahip Olabileceğiniz, Özelleştirebileceğiniz ve Ölçeklendirebileceğiniz 501 Milyar Parametreli Açık Model

ABD merkezli yeni yapay zeka laboratuvarı Reflection tarafından geliştirilen Beam, Hugging Face üzerinde yayınlandı. 501 milyar toplam parametreye (token başına 23 milyar aktif parametre) sahip bu Uzmanların Karışımı (MoE) modeli, 1 milyon token bağlam penceresi sunuyor ve Apache 2.0 lisansıyla açık kaynak olarak paylaşılıyor.

Kodlama ve ajan (agentic) senaryolarına odaklanan Beam, kendi donanımı veya bulut altyapısı üzerinde sınır ölçekte bir modeli özelleştirmek isteyen yazılım ekipleri için büyük bir fırsat sunuyor. Model, en yüksek performansı sağlamak adına kendi açık kaynaklı Rust tabanlı koşum takımıyla (harness) birlikte geliyor. Ayrıca ilk günden transformers, vLLM ve SGLang desteği barındırması; çıkarım (inference), gözetimli ince ayar (SFT) ve pekiştirmeli öğrenme (RL) tarifleriyle sunulması, geliştiricilerin modeli hızla üretime almasını kolaylaştırıyor.

Özet (TL;DR)#

Token başına 23B aktif parametreye sahip, 501B parametreli MoE büyük dil modeli.
52 katman, her MoE katmanında 256 uzman ve token başına yönlendirilen 8 uzman.
1M token bağlam penceresi ile metin girişi ve metin çıkışı desteği.
Kontrol noktası (checkpoint) formatları: BF16, FP8 ve NVFP4.
Turlar arasında bağlamda kalabilen akıl yürütme (preserve_thinking) ve özel dilbilgisi (grammar) ile araç çağırma (tool calling).
Model beş farklı akıl yürütme seviyesini destekler: "low", "medium" (varsayılan), "high", "xhigh" ve "max".
Tokenizer içerisinde yerleşik yanıt şablonu.
DFlash2 ile spekülatif kod çözme (speculative decoding) taslak modeli.
İlk gün (Day-0) kütüphane desteği: transformers, SGLang, vLLM.
Miles ile tam parametreli RL desteği ve Rust tabanlı özel koşum takımı.
Ticari kullanıma ve özelleştirmeye uygun Apache 2.0 lisansı.

Beam ile Geliştirin#

Reflection, Beam kullanan en iyi projelere 10.000$ Hub kredisi dağıtıyor. Öğrenme sürecinizi pratiğe dökmek için şu fikirleri değerlendirebilirsiniz:

Spaces üzerinde Beam modelini kullanan bir demo hazırlayabilirsiniz.
Modeli favori donanımınız için nicemleyebilirsiniz (quantization).
Seçtiğiniz bir problem için sentetik veri seti üretebilirsiniz.
Beam ile veya Beam için bir RL ortamı inşa edebilirsiniz.
Beam modelini kıyaslama (benchmark) testlerine sokup sonuçları paylaşabilirsiniz.
Topluluğu şaşırtacak özgün bir proje geliştirebilirsiniz!

Geliştirdiğiniz Space, model veya veri seti deposunu modelin Hub sayfasında paylaşarak ödül kazanma şansı yakalayabilirsiniz.

Beam Nedir?#

Beam, uzun bağlamlı (1M) akıl yürütme ve ajan iş akışları için tasarlanmış metin tabanlı bir seyrek (sparse) MoE modelidir. Her token ağın yalnızca küçük bir kısmı tarafından hesaplandığı için, devasa bir modelin kapasitesini korurken çok daha küçük bir modelin hızında çalışır. Bu mimari, üretim ortamında düşük gecikme ve maliyet avantajı sağlar.

Dikkat (Attention) Mekanizması#

Kod çözücü (decoder), 5.120 gizli boyuta sahip 52 katmandan oluşur. Katmanların çoğu önceki 512 token üzerinde kayan pencereli dikkat (sliding-window attention) kullanırken; her altıncı katman ve son katman tüm bağlama odaklanır. Bu yapı toplamda 43 kayan pencereli ve 9 genel (global) katman sağlar.

Dikkat Bloğunun İçi (Her İki Katman Türü)#

İki katman türü konumu farklı şekilde işler: Kısa pencerede göreceli konum daha önemli olduğu için kayan pencereli katmanlar RoPE kullanır; genel katmanlar ise konumsal kodlama (positional encoding) kullanmaz. Bu hibrit tasarım, 1 milyon tokenlık devasa bağlamda bellek verimliliği ve yüksek doğruluk elde edilmesini mümkün kılar.