smolagents ve Qwen3-4B: Çok Ajanlı Sistemlerde Stres Testi

Çok ajanlı mimarileri 70B üstü bulut modelleriyle geliştirdiğinde her şey yolunda görünebilir. Büyük modeller geniş bağlam pencereleri ve yüksek parametre kapasiteleri sayesinde belirsiz ajan tanımlarını telafi eder, uzun sistem promptlarını tolere eder veya eksik araç şemalarını tahmin ederek orkestrasyon kusurlarını gizler. Hatalar üretime çıkana kadar saklanır.

Bu gizli kusurları erken yakalamak için geliştirilen açık kaynaklı nöro-sembolik motor SpaghettiLens-AI (v0.5.0), eski Perl ve PHP monolitlerini Python ile FastAPI mikroservislerine dönüştürürken tersi bir yöntem izliyor. Ekip, üç katmanlı smolagents CodeAgent hiyerarşisini (L0 Supervisor, L1 Team Leads ve L2 Specialists) sağlamlaştırmak amacıyla yerel Snapdragon NPU üzerinde çalışan 4B parametreli qwen3-4b-instruct-2507 modelini kullanmış. Kesin 4096 tokenlık kayan bağlam penceresiyle sınırlandırılan bu küçük model, mimariyi zorlayan yüksek basınçlı bir rüzgâr tüneli görevi görüyor. Amaç 4B modelin dev modelleri geçtiğini kanıtlamak yerine, dar sınırlar altında yönlendirme kusurlarını, bağlam şişmesini, devir hatalarını ve doğrulama boşluklarını anında yüzeye çıkarmak.

Dar Bağlam Penceresinde Patlayan Üç Gizli Kusur#

Büyük modellerin sessizce üstesinden geldiği mimari zayıflıklar, 4096 token sınırına ve 4B parametre kısıtına çarptığında sistemi tamamen durduruyor. Yerel NPU testlerinde ortaya çıkan üç temel arıza ve uygulanan mühendislik çözümleri, kendi ajan hiyerarşini kurarken dikkat etmen gereken noktaları netleştiriyor:

• Sessiz Token Sınırı Döngüleri (smolagents PR #3110): Büyük statik AST veya SQL bağımlılık grafikleri çıkarılırken çıktılar bazen JSON ortasında max_completion_tokens sınırına takılır. Kapanış süslü parantezi (}) eksik kaldığından parse_json_blob işlevi yanıltıcı biçimde çıktıda hiçbir JSON bloğu bulunmadığını söyleyen hata fırlatır. Ajan hatayı yanlış yorumlar. Sonuçta aynı aşırı büyük yanıtı sonsuz döngüde tekrar üretmeye çalışır; çözüm olarak ayrıştırıcıya kesilmiş JSON tespiti eklenince ajan token sınırı hatasını net biçimde görüp sonraki denemede çıktısını küçültebilmiş.
• Geveze Prompt Halüsinasyonları: Varsayılan managed_agent sistem promptları, alt ajanlardan çok bölümlü düz yazı raporlar yazmasını ister. 4096 token tavanı altında bu gevezelik, 4B modelin çalıştırılabilir code ... /code blokları üretmek yerine teorik özetler uydurmasına yol açmış. Çözüm için her ajanı ilk adımda atanmış aracını çağırmaya ve çıktıyı doğrudan final_answer adımına iletmeye zorlayan kısa, kod öncelikli Jinja2 prompt şablonları ile katman bazlı sıkı kısıtlamalar tasarlanmış.
• Çok Katmanlı Körlük (smolagents PR #3115): Üç seviyeli hiyerarşide en üstteki L0 Supervisor, L1 Team Leads katmanını görse de onların altındaki uzmanlaşmış araçları hiç göremez. Üst ajanların alt ajan özetlerini özyinelemeli biçimde açıklamalarına eklemesini sağlayan yama sayesinde kök yönetici her üç katmanda deterministik yönlendirme görüşü kazanmış.

Küçük Modeller ve Deterministik Bloklar Neyi Değiştiriyor?#

Bu mimari yaklaşım, Naphade ve çalışma arkadaşlarının küçük LLM'ler için uzman blok çerçevelerini incelediği araştırmayla (arXiv:2509.15561) örtüşüyor. Araştırma, yerel çalışan küçük modellerin deterministik bloklarla eşleştirildiğinde 100B üstü öncü modellerin performansına (GPT-4 sonuçlarının yaklaşık yüzde 0,9 yakınına kadar) ulaşabildiğini gösteriyor. Orkestrasyon sağlam olduğunda model boyutu küçülse bile güvenilirlik korunur.

Kendi çok ajanlı sistemini tasarlarken doğrudan dev bulut modellerine güvenmek yerine yerel ve kısıtlı bir modeli test ortamı olarak konumlandırabilirsin. Ajan hiyerarşini dar bağlam penceresinde çalıştırdığında gereksiz prompt metinlerini budamak, araç açıklamalarını tüm katmanlara görünür kılmak ve JSON ayrıştırma hatalarını doğru yakalamak zorunda kalırsın. Küçük modelin darboğazlarından sağ çıkan orkestrasyon yapısı, daha geniş görev gruplarında ve farklı model ölçeklerinde çok daha kararlı çalışacaktır.

---

Bu konuyu derinlemesine öğrenmek istersen: Production'da Agent Güvenilirliği modülüne göz at.