Edge0/Edge0-145B-NVFP4 ile Ajan ve Akıl Yürütme Yapısı
Kaynak: Hugging Face
İçindekiler 3 başlık
Hugging Face üzerinde paylaşılan Edge0/Edge0-145B-NVFP4, 41.606 indirme ve 323 beğeniye ulaşarak geliştiricilerin dikkatini çekti. Modelin etiketleri arasında edge0, gguf, moe, edge-inference, latent-moe, 4-bit, agent ve coding yer alıyor. Bu etiketler, 4-bit niceleme ve latent-moe mimarisini birleştiren yapının kodlama görevleri, ajan kurguları ve uç cihaz çıkarımı için hazırlandığını gösteriyor. Modelin sohbet şablonu da çoklu ortam girdilerini, düşünme eforunu ve araç çağırma kurallarını doğrudan sistem istemine gömüyor.
Şablonun İçindeki Akıl Yürütme ve Çoklu Ortam Kuralları#
Bir modeli yerel ortamda veya sunucuda çalıştırırken yalnızca ağırlık dosyalarına bakmak yetmez. Sohbet şablonu da davranışı belirler. Edge0/Edge0-145B-NVFP4 içindeki şablon incelendiğinde metin, görsel ve video içeriklerinin ayrı ayrı işlendiği, ancak sistem mesajlarına video eklenmesine izin verilmediği görülüyor. Sisteme video göndermeye çalışırsan şablon doğrudan 'System message cannot contain videos.' hatasını fırlatıyor. Hiç mesaj göndermediğinde 'No messages provided.', tanımlı olmayan bir içerik türü geldiğinde ise 'Unexpected item type in content.' veya 'Unexpected content type.' hatasıyla karşılaşıyorsun.
Akıl yürütme tarafında enable_thinking ve reasoning_effort değişkenleri öne çıkıyor. Şablonda enable_thinking açık bırakıldığında veya hiç tanımlanmadığında varsayılan efor düzeyi 'xhigh' olarak atanıyor ve model yalnızca 'xhigh', 'medium' veya 'low' değerlerini kabul ediyor. Bunların dışında bir değer verirsen şablon hata döndürüyor. Efor düzeyi 'xhigh' seçildiğinde sistem mesajına eklenen yönerge, modelden görevi dikkatle düşünmesini, temel varsayımları doğrulamasını, olası alternatifleri değerlendirmesini ve yanıtta doğruluğu, tutarlılığı, açıklığı öncelemesini istiyor. Düzeyi 'low' yaptığında ise model gereksiz ayrıntıya girmeden, düşüncesini kısa ve odaklı tutarak doğrudan sonuca gidiyor.
Ajan Kurgularında Katı Araç Çağırma Biçimi#
Kodlama ve ajan uygulamaları geliştirirken en sık yaşanan sorunlardan biri, modelin fonksiyon çağrılarını bozuk biçimde üretmesidir. Bu şablon hatayı azaltır. Modele tools listesi verdiğinde her bir araç tojson filtresiyle JSON biçimine çevrilerek sistem mesajındaki tools> etiketleri arasına yerleştiriliyor ve modele katı kurallar dayatılıyor:
- Araç çağrıları hiçbir ek sonek olmadan, yalnızca
tool_call>etiketleri içine yerleştirilenfunction=...>veparameter=...>bloklarıyla yapılmalı. - Zorunlu parametrelerin tamamı eksiksiz belirtilmeli ve çok satırlı parametre değerleri ilgili etiketlerin içinde tutulmalı.
- Fonksiyon çağrısı öncesinde doğal dilde isteğe bağlı akıl yürütme metni yazılabilir, ancak çağrı kapandıktan sonra hiçbir metin eklenmemeli.
- Uygun bir fonksiyon çağrısı yoksa model kullanıcıya fonksiyonlardan hiç bahsetmeden kendi bilgisiyle normal yanıt vermeli.
Geliştirici Olarak Bu Yapıyı Nasıl Kullanabilirsin?#
Kendi ajan veya kodlama aracını kurarken bu şablondaki parametreleri görev karmaşıklığına göre yönetebilirsin. Mimari tasarım veya hata ayıklama gibi dikkat gerektiren işlerde reasoning_effort değerini varsayılan 'xhigh' düzeyinde bırakıp, hız gerektiren basit sorgularda 'low' seçeneğine çekerek yanıt süresini kısaltabilirsin.
Araç çağırma akışlarında ise modelin çıktısını ayrıştırırken JSON yerine şablonun zorunlu tuttuğu XML tabanlı tool_call>, function=...> ve parameter=...> yapılarını yakalayan bir ayrıştırıcı (parser) yazmalısın. Model çağrıdan önce doğal dilde düşünme adımı üretebildiği için ayrıştırıcının yalnızca tool_call> bloğunu çekip öncesindeki metni düşünce günlüğü olarak ayırması işini kolaylaştırır. Çoklu ortam girdileri kullanacaksan video verilerini system rolü yerine kullanıcı mesajları içinde göndererek şablonun doğrulama engeline takılmadan akışı sürdürebilirsin.
Bu konuyu derinlemesine öğrenmek istersen: Tool Calling ve Multi-Step Agent'lar modülüne göz at.
Kaynak ve atıf
Bu yazı, Hugging Face üzerinde yayımlanan içerikten yararlanılarak Edumints tarafından yapay zekâ desteğiyle Türkçe hazırlandı. Ayrıntılar ve yazarların kendi anlatımı için orijinaline bakabilirsin:
- huggingface.co/Edge0/Edge0-145B-NVFP4