İçeriğe geç
edumintsBlog
AI Araçları3 dk okuma

LFM2.5-24B-A2B ile Cihaz Üzerinde Hızlı ve Gizlilik Odaklı Ajanlar Çalıştırın

Kaynak: Hugging Face Blog

Paylaş
AI AraçlarıEdumints Blog
İçindekiler 2 başlık

LFM2.5-24B-A2B, cihaz üzerinde (on-device) hızlı ve tam veri gizliliği sağlayan otonom ajanlar geliştirmek için tasarlanmış; toplam 24 milyar (24B) parametreye sahip olmasına karşın belirteç başına yalnızca 2 milyar (2B) aktif parametre kullanan bir akıl yürütme (reasoning) modelidir. Model yanıt üretmeden önce düşünür, araç çağrıları (tool calls) yapar ve popüler ajan çalışma ortamlarında çok adımlı görevleri uçtan uca yürütür. Belirteç başına sadece 2B parametrenin aktif olması, akıl yürütme maliyetini minimuma indirir ve geliştiricilerin kendi yerel donanımlarında kesintisiz çalışan ajan döngüleri kurmasını mümkün kılar.

  • Sınıfının en iyisi ajan: Ajanlık ve araç kullanımı görevlerinde kendisinden yaklaşık %50 daha fazla toplam ve aktif parametreye sahip olan Qwen3.6-35B-A3B ile rekabet eder; LiveClaw kıyaslamasında 38.19 puan alan rakibine karşı 48.09 puan elde eder.
  • MoE hızında akıl yürütme: Yanıt vermeden önce daima düşünür. Belirteç başına sadece 2B aktif parametre kullanması sayesinde her akıl yürütme belirteci son derece ucuz ve hesaplama dostudur.
  • Verimli çıkarım (inference): Apple M5 Max donanımında saniyede 184 belirteç (tok/s), tek bir NVIDIA B300 GPU üzerinde ise saniyede 21.000 çıktı belirtecine (tok/s) varan yüksek bir çıkarım hızı sunar.

2B Aktif Parametreli Akıl Yürütme Ajanı Nasıl İnşa Edildi?#

LFM2.5-24B-A2B, LFM2-24B-A2B üzerine inşa edilmiş olup mimarisini korur: 40 katman, top-4 yönlendirmeli her MoE bloğunda 64 uzman ve kapılı kısa evrişimler (gated short convolutions) ile GQA (Grouped-Query Attention) melez yapısı. Bağlam penceresi 32K'dan 131K belirtece çıkarılmış, yerinde belirteç genişletmesiyle (in-place tokenizer expansion) sözlük boyutu Latin dışı alfabelerin işlenmesini iyileştirmek amacıyla 65K'dan 128K belirtece katlanmıştır. Önceki sürümün aksine, nihai yanıttan önce açık bir düşünce zinciri (chain of thought) üreten saf bir akıl yürütme modelidir.

Ön eğitim aşaması yaklaşık 17 trilyon belirteçten ~33 trilyon belirtece ölçeklendirilmiştir. Ara eğitim (mid-training) aşamasında; akıl yürütme, matematik, kodlama, talimat takibi ve çok dilli metinlere ağırlık veren 32K bağlamlı 2T belirteç ile uzun bağlamlı verilere odaklanan 131K bağlamlı 300B belirteç eklenmiştir. Araç çağırma ve çok turlu konuşma yörüngeleri her iki faz boyunca modele kazandırılmıştır.

Eğitim sonrası (post-training) süreç, temel modeli beş aşamada bir ajana dönüştürür:

  • Denetimli ince ayar (SFT): Temel ajan davranışlarının ve akıl yürütme temellerinin kazandırılması.
  • Öğretmen uzmanlaşması (Teacher specialization): Belirli alanlarda yetkin uzman öğretmen modellerin eğitilmesi.
  • Çok alanlı ilke üzerinde damıtma (MOPD, ajan dışı): Uzman öğretmen modellerin ajan dışı genel görevler üzerinde damıtılması (distillation).
  • MOPD (Ajan odaklı): Doğrudan araç kullanımı ve çok adımlı ajan senaryolarına odaklanan ikinci bir damıtma aşaması.
  • Ajan pekiştirmeli öğrenmesi (Agentic RL): Modelin OpenClaw, Hermes Agent, Pi ve OpenCode gibi ajan çalışma ortamlarında (agent harnesses) pekiştirmeli öğrenmeyle eğitilmesi.

Kıyaslama Sonuçları#

LFM2.5-24B-A2B; Qwen3.6-35B-A3B, Gemma-4-26B-A4B-it ve Nemotron-3.5 modelleriyle karşılaştırılarak değerlendirilmiştir. Yazılım geliştiriciler açısından bu mimari, harici bulut API'lerine bağımlılığı azaltıp maliyetleri sıfırlarken, yerel donanımda yüksek hızlı ve veri gizliliğine tam uyumlu çok adımlı ajan iş akışları oluşturmayı pratik hale getirmektedir.


Bu konuyu derinlemesine öğrenmek isterseniz: Tool Calling ve Multi-Step Agent'lar modülüne göz atın.

Kaynak ve atıf

Bu yazı, Hugging Face Blog üzerinde yayımlanan içerikten yararlanılarak Edumints tarafından yapay zekâ desteğiyle Türkçe hazırlandı. Ayrıntılar ve yazarların kendi anlatımı için orijinaline bakabilirsin:

  • huggingface.co/blog/LiquidAI/lfm25-24b-a2b