Ajanınızın Maliyet Sorunu Model Değil, Ölçmediğiniz Adımlardır

Birkaç hafta önce bir yapay zeka ajan (agentic) ardışık düzeninin, bir aylık bütçeyi sadece üç günde tükettiğine şahit oldum. Ekibin ilk refleksi son derece tanıdıktı: "Öncü model çok pahalı, daha küçük bir modele geçelim." Oysa bu tamamen yanlış bir teşhisti. Harcanan her token'ı (adım, araç, model) demetine göre etiketlediğimizde gerçek tablo ortaya çıktı: Sorun pahalı model değildi; basit bir sınıflandırma, özet çıkarma veya karmaşık bir muhakeme çağrısı fark etmeksizin her adımın sessizce bu öncü modele yönlendirilmesiydi. Hangi modeli satın alacağımızı tartışırken, hangi adımın o modeli çağırmasına izin verileceğini gözden kaçırmıştık.

1. Ajanlarda Maliyet Bir Sayı Değil, Bir Ağaçtır

Tek bir LLM çağrısında maliyet tek bir kalemdir. Ajan döngülerinde ise maliyet dallanan bir ağaç yapısındadır:

Her adım bir modeli çağırır,
Gerekirse bir aracı (tool) devreye sokar,
Hata anında yeniden deneme (retry) yapar,
Tekrar çağrılar üreten alt adımlara dallanır.

Sonuç faturası tüm bu ağacın toplamıdır. Yalnızca genel toplamı görüyorsanız körlemesine optimizasyon yaparsınız. Bu durumda maliyeti düşürme çabası çoğunlukla "her yerde küçük model kullan" ezberine dönüşür; bu da asıl israfa dokunmazken, öncü modele gerçekten muhtaç adımlarda çıktı kalitesini yok eder.

2. Her Şeyi Şişiren Sessiz Varsayılan

Çoğu ajan kütüphanesi, geliştiricinin modeli en tepede genel (global) olarak tek seferde belirlemesine izin verir. Böylece adım bazında verilmesi gereken dinamik yönlendirme kararı tek bir seçime mahkûm olur. Küçük bir modelin kolayca çözeceği sınıflandırma veya özetleme adımları öncü modelde çalışır. En zorlu akıl yürütme adımı da aynı modele gider fakat bu genel gürültüde kaybolur. Buradaki asıl israf, çağrıların yaklaşık %80'inin bu gelişmiş modele hiç ihtiyaç duymamasıdır.

3. Adım Bazlı İlişkilendirme Bir Özellik Değil, Altyapıdır

Burada karmaşık bir sihir yoktur; her çağrı için temel telemetri altyapısını kurmak yeterlidir:

Adım kimliği (step id) ve kullanılan araç (tool),
Model adı, girdi ve çıktı token miktarları,
Gecikme süresi (latency) ve yeniden deneme sayısı (retry count).

Bu veriler kaydedildiğinde bütçeyi tüketen adımlar dakikalar içinde açığa çıkar. Pahalı sanılan adımların çoğunlukla model hatasından değil; aracın döndürdüğü veri formatını ayrıştırıcı reddettiği için sessizce 5 kez tekrarlanan yeniden deneme döngülerinden kaynaklandığı görülür. Bu bir model maliyeti değil, ölçülmemiş adım problemidir.

4. Kör Noktaların Patladığı Yer: Failover

Bütçeleri asıl patlatan unsur kontrolsüz hata kurtarma (failover) mekanizmalarıdır. Model zaman aşımına uğradığında veya hatalı çıktı ürettiğinde uygulanan naif yaklaşım, tüm akışı aynı pahalı modelle baştan çalıştırır. Maliyet tam da sistem aksarken katlanır. Sağlam bir mimaride planlı failover, aynı araç sözleşmesini koruyarak adımı bir fallback modeline devretmelidir.

5. Kaldıraç Prompt'larda Değil, Yönlendirme Katmanındadır

Yazılım mimarisinde içselleştirilmesi gereken temel kural şudur: Bir ajanın maliyetini sadece prompt optimizasyonu yaparak düşüremezsiniz. Asıl kaldıraç; akıştaki her adımı ayrı ayrı ölçen ve görevin zorluğuna göre doğru modeli tetikleyen dinamik bir yönlendirme (routing) katmanı inşa etmektir.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Agent Monitoring ve Debugging modülüne göz atın.