İçeriğe geç
edumintsBlog
LLM3 dk okuma

İncelenen Belge Başına Yapay Zeka Belge İşleme Maliyeti Nedir?

Kaynak: dev.to

Paylaş
İçindekiler 2 başlık

Kısa yanıt: İncelenen belge başına maliyet; çıkarım (inference), altyapı ve operasyon maliyetleri ile çıktıyı kontrol edip düzeltmek için harcanan insan zamanının toplamının, bir incelemeciye ulaşan belge sayısına bölünmesiyle bulunur. Kopyalanabilecek hazır bir kıyaslama (benchmark) rakamı yoktur. Bu değeri kendi işlem hacminizden ve inceleme sürelerinizden hesaplamalısınız. Ayrıca modelin doğruluk oranının, sayfa başına model fiyatından çok daha fazla bu maliyeti değiştireceğini bilmelisiniz. Doğruluk iyileştirmelerini yeni bir teknoloji yığını kurmak yerine sadece bir model kimliği (ID) değişikliğine dönüştürmek için Superlinked Inference Engine gibi esnek çıkarım katmanları kullanabilirsiniz.

Kimse OCR teknolojisini sadece OCR olduğu için satın almaz. Asıl ürün, bir insanın inceleyip onayladığı belgedir: özetlenmiş bir sözleşme, fiyat teklifine hazır bir sigorta başvurusu veya rakamları doğrulanmış resmi bir bildirim. Sayfa veya token başına fiyat, bulunması ve optimize edilmesi en kolay sayıdır. Bu yüzden yazılım ekipleri daha ucuz bir OCR modeline geçip API faturasının düşüşünü izleyebilir; ancak hemen ardından yeni modelin yanlış okuduğu tablo hücrelerini düzeltmek için dışarıdan bir çalışan kiralamak zorunda kalabilirler. Fatura aylık raporda harika görünür, fakat inceleme kuyruğundaki insan maliyeti o raporda hiç yer almaz.

Bu rehber, yazılım projelerinde gerçekten önemli olan birimi, yani incelenen belge başına maliyeti hesaplamak için pratik bir yöntem sunar. Örneklerdeki her sayı aritmetik gösterim amaçlıdır; önemli olan toplamlar değil, formül ve duyarlılıktır.

Adım 1: Herhangi Bir Şeyi Saymadan Önce Birimi Tanımlayın#

"Belge başına" ifadesi arkasında üç kritik mimari kararı gizler ve farklı yanıtlar tamamen farklı maliyet sonuçları doğurur:

  • Belge nedir? Tek bir PDF mi, bir sayfa mı, yoksa bir paket mi? Bir sigorta başvurusu; başvuru formunu, değerler tablosunu ve geçmiş hasar kayıtlarını içerebilir. Bir sözleşme dört ek değişiklikle birlikte gelebilir. İncelemecilerinizin üzerinde çalıştığı birimi seçin. Eğer bir paketi tek bir iş olarak inceliyorlarsa, birim pakettir.
  • İncelenmiş sayılan nedir? Bir belge, bir kişi onu açıp onayladığında (herhangi bir değişiklik yapsın ya da yapmasın) incelemeciye ulaşmış demektir. Otomatik arşivlenen veya kopya olduğu için atılan, yani işlenen ama hiç incelenmeyen belgeler ayrı bir sayaçta tutulmalıdır.
  • Hangi zaman diliminde? Hacim dalgalanmalarını dengelemek ve en az bir model veya veri hattı (pipeline) değişikliğini kapsamak için bir aylık veya üç aylık periyotlar kullanın.

Tanımınızı yazılı hale getirin. Temel formülümüz şudur:

İncelenen belge başına maliyet = (Çıkarım + Altyapı ve operasyonlar + İnceleme ve yeniden işleme) / İncelenen belgeler

Adım 2: Çıkarım (Inference) Maliyetini Veri Hattının Gerçek Çağrılarından Hesaplayın#

Çıkarım, tahmin edilmesi en kolay ama aynı zamanda eksik hesaplanması en muhtemel kalemdir. Sadece ana modeli değil, belge başına yapılan her model çağrısını listeleyin:

  • Sayfa düzeyinde çağrılar: Genellikle sayfa başına fiyatlandırılan OCR veya belgeden Markdown'a dönüştürme işlemleri. Dosyaları değil, sayfaları sayın.
  • Token düzeyinde çağrılar: Varlık çıkarımı (entity extraction), embedding işlemleri, yeniden sıralama (reranking) ve bir LLM ile yapılandırılmış veri çıkarımı (Structured Output). Bunlar genellikle milyon token veya milyon çift başına fiyatlandırılır.
  • Yeniden denemeler (Retries) ve yedekler (Fallbacks): Zaman aşımları, ikinci bir çağrıyı tetikleyen şema doğrulama (schema-validation) hataları ve daha büyük bir modele geçişler. Yapılandırılmış çıktıyı doğrulayan bir üretim hattında, yeniden deneme oranı toplam maliyetin ciddi bir parçası olabilir.
  • Yeniden işleme (Re-processing): Modeli her değiştirdiğinizde, karşılaştırma yapmak veya yeniden indeksleme (reindexing) sağlamak için geçmiş birikimi tekrar çalıştırmanız gerekebilir.

Her çağrıyı sağlayıcının yayınladığı tarifeden, kendi birimiyle ve kontrol ettiğiniz tarihi not ederek fiyatlandırın. Barındırılan belge servisleri genellikle 1.000 sayfa üzerinden fiyatlandırma yapar ve makas oldukça açıktır: örneğin Amazon Textract, düz metin tespiti için 1.000 sayfa başına 1,50 dolar listelerken, form işleme için 50 dolar talep edebilmektedir. Geliştiriciler için buradaki en önemli çıkarım, Ölçeklendirme ve Optimizasyon ile LLM Observability Temelleri pratiklerini uygulayarak tüm gizli API çağrılarını ve doğrulama hatalarını uçtan uca izlemektir.

Kaynak ve atıf

Bu yazı, dev.to üzerinde yayımlanan içerikten yararlanılarak Edumints tarafından yapay zekâ desteğiyle Türkçe hazırlandı. Ayrıntılar ve yazarların kendi anlatımı için orijinaline bakabilirsin:

  • dev.to/developerphilo/what-does-ai-document-processing-cost-per-reviewed-document-2caj