LLM·2 dk okuma·

Spotify Portal ile Claude Code Token Tüketimini %90 Azaltmak

Paylaş
LLMEdumints Blog

Yapay zeka tabanlı kodlama ajanlarının mesaisinin büyük bölümü derin akıl yürütme (reasoning) değil; dosya okuma ve şablon oluşturma gibi temel girdi/çıktı (G/Ç) operasyonlarıdır. Bir metot hakkındaki soruyu yanıtlamak için beş farklı dosya taramak veya yanındaki yirmi test dosyasının birebir kopyası olan yeni bir test yazmak, neredeyse sıfır akıl yürütme karşılığında binlerce token tüketir.

Geliştiricileri asıl zorlayan maliyet lisans ücretleri değil, hızla tükenen token harcamalarıdır. Rutin amele işlerini (grunt work), bu iş için fazlasıyla kalifiye olan pahalı frontier modellere yaptırmak ciddi bir kaynak israfıdır. 2028 yılına kadar yapay zeka kodlama maliyetlerinin ortalama bir yazılımcı maaşını aşacağı öngörülüyor. Günümüzde mühendislik yöneticileri geliştirici başına ayda 200–500 dolar, hatta bazı ekiplerde 2.000 doların üzerinde token tüketmektedir. Çözüm ise yeni bir platform ekibi veya pahalı abonelikler kurmak değil; işleri doğru modellere delege etmektir.

İki Mod, Sıfır Kod

Spotify bünyesindeki Portal platformunda yer alan AiKA Modları tam olarak bu tür kullanım senaryoları için geliştirilmiştir. Bir mod; altyapı yönetimi, uzun süreli sunucular veya API anahtarı gerektirmeyen, ajanlara özel sunucusuz (ephemeral runtime - AWS Lambda benzeri) bildirimsel bir yapıdır. Portal CLI veya API üzerinden çağrılabilir. Bu kurguda rutin işleri üstlenen işçi model olarak Gemini 2.5 Flash tercih edilmiştir.

Süreçte iki temel mod tanımlanmıştır:

  • Mod 1: bulk-reader (Toplu Dosya Okuyucu): Claude'un tek bir soruya yanıt vermek için büyük dosyaları taramak zorunda kaldığı durumlarda G/Ç yükünü devralır. Çıktı olarak selamlama veya açıklama içermez; doğrudan kesin satır numaraları, tipler ve yapılandırılmış maddeler sunar.
  • Mod 2: code-writer (Şablon Kod Yazıcı): Tahmin edilebilir test dosyaları, yapılandırma iskeleleri ve tip tanımları üretir. Mevcut kod standartlarını ve desenlerini taklit eder. En kritik kuralı "yalnızca kod üretmektir"; markdown etiketleri (```) ve sohbet açıklamaları üretmeyerek Claude'un fazladan ayrıştırma token'ı yakmasını engeller.

Yönlendirme (Routing)

Sistemin ilk sürümünde CLAUDE.md dosyasına eklenen yönlendirme kuralları kullanıldı. Claude bu talimatları okuyarak G/Ç gerektiren rutin işleri Portal üzerindeki ilgili modlara yönlendirmeyi başardı.

Yazılım Geliştirme ve Öğrenme Çıkarımları

  • Model Hiyerarşisi Kurun: Pahalı frontier modelleri kritik mimari kararlar için saklayın; okuma ve şablon işlerini Gemini Flash gibi ekonomik modellere devredin.
  • Ajanlar Arası Çıktı Standardizasyonu: Delege edilen modellerde sohbet ve markdown bloklarını yasaklamak, üst modelin bağlam penceresini temiz tutar.
  • Maliyet Odaklı Tasarım: Modern yazılım mimarisinde token ekonomisini optimize etmek, bellek ve CPU yönetimi kadar kritik bir mühendislik yetkinliğidir.

Orijinal kaynağa buradan ulaşabilirsiniz.


Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.

Paylaş

Bu konuyu daha derinlemesine öğrenmek ister misin?

Edumints'teki ücretsiz kursları incele ve bugün başla.

Kurslara Göz At →