Üretim Ortamında Müşteri Başına LLM Maliyetleri Nasıl Takip Edilir?

Çoklu kiracılı (multi-tenant) sistemlerde müşteri başına LLM maliyetini izlemek, kârlılığı korumak için kritiktir. Toplu grafikler zarar eden müşterileri gizlerken, müşteri bazlı takip bunu görünür kılar. İşte geliştiriciler için pratik çıkarımlarla bu sürecin detayları:

Neden Müşteri Başına LLM Maliyetlerini Takip Etmeliyiz?

Yüksek Maliyet Oranları: Yapay zeka şirketlerinde model maliyeti gelirlerin yaklaşık %23'ünü bulur.
Zarar Eden Kullanıcılar: Median seviyede kârlı olan bir kullanıcı, yüksek sorgu hacmiyle şirketi zarara uğratabilir.
Stratejik Kararlar: Fiyatlandırma ve marj kararlarını verilerle destekler.

Çoklu Kiracılı Bir Yapıda "Müşteri Başına" Ne Anlama Gelir?

Maliyet takibinde veri modelinizi baştan şu üç ID'yi de iletecek şekilde tasarlayın:

Organizasyon (B2B): CFO'nun raporlarında görmek istediği hesap bazlı maliyet.
Son Kullanıcı: Yetki paylaşımını ve suistimali önleyen kişi bazlı takip.
Oturum veya Ajan Görevi: Tek bir müşterinin iş akışlarındaki 100x'e varan dalgalanmaları yakalayan görev bazlı takip.

Dört Maliyet İlişkilendirme Yöntemi

Maliyeti kullanıcıyla eşleştirmek için dört yöntem bulunur:

Sağlayıcı Tarafı Metadataları: OpenAI user veya Anthropic metadata.user_id ile en az eforlu, ancak gerçek zamanlı olmayan yöntem.
İstemci Tarafı Sarmalama (Wrapper): SDK'ları sarmalayıp yerel fiyat tablosuyla anlık event fırlatma.
Geçit (Gateway) veya Proxy: LiteLLM veya Helicone gibi proxy'ler üzerinden merkezi takip.
Log Analizi: Gece çalışan işlerle ham loglardan hesaplama yapmak. Öğrenme Çıkarımı: Sağlayıcı metadatasını yedek, istemci tarafı sarmalamayı ana kaynak yapmak en sağlam yapıdır.

Hangi Maliyet Kalemlerini İlişkilendiriyoruz?

Her API çağrısı şu kalemlerden oluşur:

Girdi Tokenları: Temel girdi maliyeti.
Çıktı Tokenları: Genelde girdi fiyatının 5 katıdır.
Önbelleğe Alınmış Girdiler (Cached): Önbellek yazma/okuma indirimleri. Önemli Not: Ortak sistem prompt maliyeti adil dağıtılmalıdır.
Araç Çağrıları: Ek sistem tokenları tüketir.
Embeddings: Vektör veritabanı sorgularının ayrı fiyatlandırılması.
Batch API: 24 saat içinde sonuçlanan %50 indirimli işlemler.
Streaming: Bağlantı kesilse bile anlık biriken token takibi.

Kimsenin Bahsetmediği İstisnai Durumlar

Asenkron İşler: Maliyetin gerçekleştiği gün ile istek gününün uyuşmaması.
Arka Plan Süreçleri: Kullanıcısı olmayan sistem işlerinin iç müşteri ID'sine yönlendirilmesi.
Yeniden Denemeler (Retries): Müşteriye tek, sağlayıcıya çift yansıyan isteklerin yönetimi.
Çok Adımlı Ajanlar: Ortak kaynak kullanımının adil bölüştürülmesi.
Sağlayıcı Hataları: Hatalı giden isteklerin maliyet yazımı.

Örnek Bir Uygulama

TypeScript ile yazılmış bir SDK sarmalayıcısı anlık olarak LLMCostEvent fırlatabilir. Fiyat tablosu ayrı bir dosyada tutulmalı ve her gece sağlayıcı faturalarıyla mutabakat (reconciliation) yapılmalıdır.

Takip Sonrası Atılacak Üç Adım

Kullanıcı bazlı kâr marjını hesaplayın.
En yüksek maliyetli %5'lik dilim için alarm kurun.
Maliyet verilerini yeni fiyatlandırma kararlarında kullanın.

Bu İşlemleri Otomatikleştirmek İster misiniz?

Eğer bu altyapıyı kendiniz kurmak istemiyorsanız, Credyt gibi gerçek zamanlı yapay zeka faturalandırma ve maliyet takip araçlarını kullanabilirsiniz.

Orijinal kaynağa buradan ulaşabilirsiniz.