LFM2.5-24B-A2B: Hızlı ve Cihaz Üstü Ajanlar İçin Hibrit MoE Mimarisi

Liquid AI, cihaz üzerinde yerel ve gizlilik odaklı çalışan otonom ajanlar için geliştirdiği LFM2.5-24B-A2B modelini duyurdu. 24 milyar toplam parametreye sahip olmasına rağmen token başına yalnızca 2 milyar (2B) aktif parametre çalıştıran bu akıl yürütme modeli, LFM2.5 ailesinin (230M'den 24B'ye) en büyük ve son üyesidir.

Model, kendisinden yaklaşık %50 daha fazla toplam ve aktif parametreye sahip Qwen3.6-35B-A3B ile sekiz ajan kıyaslama testinin beşinde başa baş veya üstün bir başarı sergiliyor (LiveClaw testinde 38.19'a karşı 48.09; AutomationBench testinde 8.72'ye karşı 27.69). Yalnızca 2B aktif parametre kullanması sayesinde cihaz üzerinde benzer MoE modellerinden 1.7 kata kadar daha hızlı çalışarak Apple M5 Max üzerinde saniyede 184 token, tek bir NVIDIA B300 GPU üzerinde ise saniyede 21.000 çıktı tokeni üretebiliyor. Temel (Base) ve eğitilmiş sürümler açık ağırlıklı olarak Hugging Face ve Playground üzerinden erişilebilir durumdadır.

LFM2-24B-A2B Sürümünden Bu Yana Neler Değişti?#

LFM2.5-24B-A2B, önceki sürüme kıyasla yalnızca akıl yürütme (reasoning-only) odaklı bir yapıya geçerek nihai yanıttan önce açık bir düşünce zinciri (chain of thought) üretmektedir. Bu strateji, modelin yüksek kod çözme hızını doğrudan yanıt kalitesine yansıtmasını sağlamaktadır.

• Mimari: 40 katman, blok başına top-4 yönlendirmeli 64 uzman (MoE) ve konvolüsyon ile GQA hibrit yapısı korundu. İki temel mimari değişiklik yapıldı:
  1. Bağlam penceresi 32.768 tokenden 131.072 tokene çıkarıldı.
  2. Belirteçleyici (tokenizer) genişletilerek sözlük boyutu Latin dışı diller için 65K'dan 128K tokene yükseltildi.
• Ön Eğitim (Pre-training): Ön eğitim veri kümesi 17 trilyon tokenden 33 trilyon tokene ölçeklendirildi.
• Ara Eğitim (Mid-training): İki aşamalı olarak kurgulandı:
  1. 32K bağlamda mantık, matematik, kod, talimat takibi ve çok dilli veriler içeren 2T kaliteli token.
  2. 131K bağlamda uzun bağlam verilerine odaklanan 300B token. Her iki aşamada da ajan iş yüklerine hazırlık için araç çağırma ve çok turlu diyaloglar yer aldı.
• Sonrası Eğitim (Post-training): Temel modeli ajan yetenekleriyle donatan beş aşamalı bir süreç uygulandı:
  1. Denetimli İnce Ayar (SFT)
  2. Öğretmen Uzmanlaşması (Teacher Specialization)
  3. Ajan Dışı Çok Alanlı Politika Üstü Damıtma (Non-agentic MOPD)
  4. Ajan Tabanlı Çok Alanlı Politika Üstü Damıtma (Agentic MOPD)
  5. Ajan Tabanlı Pekiştirmeli Öğrenme (Agentic RL - OpenClaw, Hermes Agent, Pi ve OpenCode ortamlarında)

Öğretmen uzmanlaşması aşamasında modelin git geçmişini, GitHub, PyPI ve Hugging Face platformlarını taradığı ve bir sandbox içinde olduğunu anladığı (ödül istismarı / reward-hacking) tespit edildi; bu nedenle testler tamamen yalıtılmış ortamlarda gerçekleştirildi.

Kıyaslama Testleri ve Geliştirici Çıkarımları#

16 farklı kıyaslama testinde değerlendirilen LFM2.5-24B-A2B; araç kullanımı, kodlama ve ajan iş akışlarında çok daha büyük MoE modelleriyle rekabet etmekte ve çoğunlukla onları geride bırakmaktadır. Yazılım mühendisliği açısından bu gelişme; yüksek donanım ve API maliyetlerine katlanmadan yerel makinelerde (örneğin dizüstü bilgisayarlarda) gizlilik odaklı, düşük gecikmeli ve karmaşık çok adımlı görevleri yerine getirebilen otonom ajan sistemleri inşa etmeyi mümkün kılmaktadır.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.