DAYJOB: Tax – Yapay Zeka Ajanlarını 50 Profesyonel Vergi Görevi Üzerinde Değerlendirmek

Anna dairesini satmayı planlıyordu. Ağustos 2024'te evden taşınmıştı ve vergi açısından satış işlemini Ekim 2026'da mı yoksa Ocak 2027'de mi tamamlamanın daha avantajlı olacağını öğrenmek istiyordu. Bir yapay zeka ajanı her iki seçeneği de inceledi ve her iki tarihin de 250.000 dolara kadar kazanç istisnası sağlayan ikamet şartını karşılayacağı sonucuna doğru bir şekilde vardı. Ancak kritik bir son tarihi gözden kaçırdı.

Standart kurallara göre, ev sahiplerinin bu istisnadan yararlanabilmesi için satıştan önceki beş yılın en az iki yılında mülkte yaşamış olması gerekir. Anna Ağustos 2024'te taşındığı için Ağustos 2027'nin sonunda bu şartı kaybetmeye başlayacaktı. Satış Ağustos 2027 sonrasına sarkarsa vergi muafiyeti hakkını tamamen yitirebilirdi. Beş denemede Astra bu son tarihi hiçbirinde tespit edemedi; Opus ise beş denemenin tamamında yakaladı.

Bir vergi danışmanı, müşteri ne soracağını bilmese bile kritik sonuçları olan konuları fark etmelidir. Yazılım geliştiriciler için buradaki en önemli ders, ajanların yalnızca sorulan soruyu yanıtlamasının yeterli olmadığı; Production'da Agent Güvenilirliği için uç durumları (edge-case) proaktif olarak tespit edebilmesi gerektiğidir. Surge AI'ın DAYJOB kıyaslama ailesinin en yeni üyesi olan DAYJOB: Tax ile test edilen profesyonel muhakeme tam olarak budur.

DAYJOB: Tax Tanıtımı#

DAYJOB, yapay zeka ajanlarını özel uzmanlık, karmaşık belgeler ve başlangıç talimatlarında tam olarak belirtilmeyen kararlar gerektiren profesyonel vergi görevleri üzerinde değerlendirir. Daha önceki sürümler Sağlık ve Finans alanlarını kapsarken, DAYJOB: Tax bu çalışmayı vergi hazırlama, uyumluluk ve danışmanlık hizmetlerine taşır.

Kıyaslama seti, sekiz vergi uygulaması alanına yayılmış 50 ortam içerir. Ajanlar müşteri taleplerini ve destekleyici kayıtları alır; ardından vergi beyannameleri, çalışma kağıtları, teknik incelemeler veya müşteri tavsiyeleri üretir. Bu görevler vergi bilgisi, hesaplamalar, bilgi erişimi (retrieval) ve talimat takibinin yanı sıra profesyonel muhakemeyi test eder. Ajan geliştiren mühendisler için bu durum, çelişkili kanıtları çözebilen ve bilginin ne zaman yetersiz olduğunu fark edebilen çok adımlı iş akışları tasarlamanın önemini gösterir.

Sonuçlar: Liderlik Tablosu ve Pareto Sınırları#

Claude Sonnet 5.5, DAYJOB: Tax liderlik tablosunda %10,8 başarı oranıyla ilk sırada yer alırken, onu %9,6 ile Claude Fable 5.1 ve %9,2 ile Claude Opus 5.5 takip etmektedir. Sonuçlar %95 rubrik eşiğinde pass@1 olarak raporlanmaktadır. Bir denemenin başarılı sayılması için hesaplamaları, destekleyici kanıtları, kritik sorunları ve nihai çıktıyı değerlendiren görev kriterlerinin en az %95'ini karşılaması gerekir. AI Test Stratejileri açısından bu kadar katı bir eşik kullanmak, gerçek dünya üretim ortamlarındaki hata toleransının ne kadar düşük olduğunu kanıtlar.

Performans ve Maliyet Karşılaştırması#

Model performansı deneme başına ortalama maliyetle karşılaştırıldığında, Claude Sonnet 5.5 ve Opus 5.5 ölçülen Pareto sınırının yüksek performanslı ucunda yer almaktadır. Geliştiriciler Modeller: Hangisi, Ne Zaman? sorusuna yanıt ararken maliyet ve doğruluk dengesini bu tür Pareto analizleriyle optimize etmelidir.

Profesyonel Vergi Çalışmalarının Kapsamı#

DAYJOB: Tax, her biri farklı kurallar, kayıtlar ve uzmanlık gerektiren sekiz alanı kapsar:

• Bireysel ve aile vergisi
• Küçük işletme vergisi
• Ortaklıklar
• Mülk ve yatırımlar
• Miraslar, hibeler ve tröstler
• Uluslararası vergi
• Kurumsal işlemler
• Vergi incelemesi ve uyuşmazlıklar

Bazı görevler destekleyici çalışma kağıtlarıyla birlikte eksiksiz beyanname paketleri gerektirirken, diğerleri ajanların karmaşık işlemleri araştırmasını bekler.