EPSBench: Kazanç Tahmini İçin LLM Ajanlarını Kıyaslama

Finansal Kanıtlardan Gelir Tablosuna: EPSBench Nedir?#

Üç aylık kurumsal kazanç tahminleri, bir yapay zeka ajanının finansal kanıtları şirketin raporlanan kazançlarını oluşturan gelir tablosu kalemleriyle ilişkilendirmesini gerektirir. EPSBench, ABD merkezli 86 şirketin 149 şirket-çeyrek dönemini kapsayan ve büyük dil modeli (LLM) ajanlarının bu yeteneğini incelemek için geliştirilmiş yeni bir kıyaslama (benchmark) veri setidir.

Yazılım geliştirme ve ajan mimarisi açısından bu yapı, karmaşık dokümanlardan yapılandırılmış veri çıkarımı ve çok adımlı akıl yürütme süreçlerinin gerçek dünya senaryolarında nasıl test edileceğine dair güçlü bir referans sunar.

Mimari Yapı ve Değerlendirme Süreci#

EPSBench kapsamında ajanların çalışma ve değerlendirilme adımları şu temel bileşenlerden oluşur:

• Kanıt Tabanlı Tahminleme: Ajanlar sabit bir resmi bildirim (filings), kazanç çağrısı dökümü (earnings-call transcripts) ve haber koleksiyonunu okur; ardından şirkete özgü gelir tablosu temel bileşenlerini (drivers) kanıtlarıyla birlikte kaynak göstererek tahmin eder.
• Ortak Muhasebe Hesaplayıcısı: Paylaşılan deterministik bir muhasebe hesaplayıcısı, ajanların ürettiği bu tahminleri genel kabul görmüş muhasebe ilkelerine (GAAP) uygun seyreltilmiş hisse başı kazanca (EPS) dönüştürür ve tahmin varsayımlarını karşılaştırmak için ortak bir temel sağlar.
• Standart Test Koşumu (Harness): Altı farklı model ortak bir test çatısı altında değerlendirilerek, nokta tahmin hataları tarihsel olarak eşleştirilmiş analist konsensüsü ile kıyaslanır ve tahmin aralıklarının belirtilen kapsama oranına ulaşıp ulaşmadığı kontrol edilir.

Temel Bulgular ve Model Performansları#

Altı model üzerinde yapılan deneysel değerlendirmeler, üretim ortamında ajan geliştiren mühendisler için kritik sonuçlar ortaya koymaktadır:

• Nokta Tahmin Hatası: İncelenen altı modelden üçü, analist konsensüsüne kıyasla nokta tahmin hatasında istatistiksel olarak tespit edilebilir bir eşleştirilmiş fark göstermezken, diğer üç model daha yüksek hata oranına sahiptir.
• Tahmin Aralıkları ve Kalibrasyon Sorunu: Altı modelin tamamında, nominal %80 tahmin aralıkları, bir aralık döndüren çalıştırmaların yalnızca %37 ila %70'inde gerçek raporlanan EPS değerini içermektedir. Tahminler genellikle düşük kaldığı için hataların çoğu üst sınırın üzerinde gerçekleşmektedir.
• Hata Kaynağının İzlenmesi: Alt bileşen kayıtları (driver records) incelendiğinde, modeller arasındaki hata farkının büyük çoğunluğunun faaliyet geliri (operating-income) tahminlerinden kaynaklandığı görülmektedir.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

Edumints platformundaki Production'da Agent Güvenilirliği, Tool Calling ve Multi-Step Agent'lar ile AI Test Stratejileri modülleri bağlamında bu araştırmadan çıkarılabilecek temel mühendislik dersleri şunlardır:

• Hibrit Mimari Kullanımı: LLM ajanlarını doğrudan nihai matematiksel sonucu üretmeye zorlamak yerine, ajanı kanıt çıkarımı ve varsayım üretimi için kullanıp hesaplamaları deterministik bir araca (ortak muhasebe hesaplayıcısı gibi) devretmek sistem güvenilirliğini artırır.
• Belirsizlik Kalibrasyonu: Modellerin kendi ürettikleri güven aralıkları (%80 beklentisine karşın %37-%70 gerçekleşme) aşırı özgüvenli veya sistematik olarak yanlı (düşük tahmin eğilimli) olabilir. Üretim ortamında ajan çıktılarına doğrudan güvenmek yerine harici doğrulama katmanları kurulmalıdır.
• Ara Adımların İzlenebilirliği: Hatanın faaliyet geliri tahmininde yoğunlaşmasının tespit edilebilmesi, ajan sistemlerinde yalnızca son çıktıyı değil, ara akıl yürütme adımlarını ve kaynak gösterilen kanıtları kayıt altına almanın (observability) hata ayıklama süreçlerindeki kritik önemini kanıtlar.