ABD Çalışma Saatlerinin %90'ı Yapay Zeka Kıyaslama Testlerinin Yeterince Kapsamadığı Görevlere Harcanıyor

ABD Ekonomisinin Kıyaslama (Benchmark) Haritası#

Yapay zeka kıyaslama testleri (benchmarks) son yıllarda hızla çoğalmış olsa da, ekonomik açıdan değerli işlerin ne kadarını kapsadığı hala oldukça sınırlıdır. Mercor Research tarafından hazırlanan Kıyaslama Haritası (Benchmark Map), mevcut yapay zeka testlerinin Amerikan iş gücünü ne ölçüde temsil ettiğini ölçmek ve ekonominin tamamındaki yapay zeka yeteneklerini anlamak için oluşturulan kapsamlı bir kaynağın ilk adımıdır.

Araştırmanın temel metrikleri şu tabloyu ortaya koymaktadır:

• Kapsanan Meslekler: 923 O*NET mesleğinden 208'i
• Kapsanan Görevler: 18.797 görevden 924'ü
• Endeksteki Kıyaslama Testi Sayısı: 29

Kıyaslama Haritası ve Meslek Ailelerine Göre Dağılım#

Harita, ABD iş gücünü oluşturan 923 ONET mesleğini 22 meslek ailesi altında gruplandırmaktadır. Tek bir kıyaslama istemi (prompt), birden fazla ONET görevine eşlenebilmektedir. Meslek ailelerine göre kapsama oranları incelendiğinde öne çıkan alanlar şunlardır:

• Bilgisayar ve Matematik: 29 / 36
• İşletme ve Finans: 33 / 48
• Toplum Hizmetleri: 10 / 14
• Hukuk: 5 / 7
• Ofis ve İdari İşler: 21 / 51
• Yönetim: 21 / 56
• Mimarlık ve Mühendislik: 19 / 56
• Satış: 6 / 22
• Sanat ve Medya: 13 / 40
• Bilim: 15 / 60
• Sağlık Uygulayıcıları: 12 / 89
• Eğitim ve Kütüphanecilik: 9 / 62

Veri setine göre, 923 meslekten yalnızca 208'i en az 5 kıyaslama istemiyle (prompt) temsil edilen bir göreve sahiptir ve 22 meslek ailesinin 6'sında bu kriteri karşılayan hiçbir meslek bulunmamaktadır. Bulgular, Amerikan çalışma saatlerinin %90'ının mevcut kıyaslama testleri tarafından çok az kapsanan veya hiç kapsanmayan görevlere harcandığını göstermektedir. Bu durum, yapay zeka modellerinin gerçek iş yaşamındaki performansını bilmeyi oldukça zorlaştırmaktadır.

Ücret Büyüklüğüne Göre Kıyaslama Kapsamı ve Odak Noktası#

Mevcut testlerin dağılımı rastgele değildir; yapay zeka topluluğu öncelikle en büyük iş gücü pazarlarına odaklanmaktadır. Görev düzeyinde yapılan lojistik regresyon analizleri (Eloundou vd. 2023 yapay zeka maruziyet etiketleri ve BLS maaş tahminleri kullanılarak), bir mesleğin yıllık toplam ücret hacmi (wage bill) arttıkça kıyaslama testlerinde yer alma olasılığının yükseldiğini göstermektedir.

Örneğin, mevcut kıyaslama listeleri yapay zekaya açık avukatların görevlerini yoğun bir şekilde kapsarken, benzer şekilde yapay zekaya maruz kalan hukuk sekreterlerinin veya mahkeme katiplerinin görevlerini neredeyse hiç kapsamamaktadır. Daha küçük ölçekli ve orta gelirli bilgi işçiliği mesleklerinin oluşturduğu "uzun kuyruk" (long tail) yetersiz temsil edilmektedir.

Kısaca Metodoloji ve Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

Ekonomiyi sektörlere, mesleklere ve görevlere ayırmak için ABD Çalışma Bakanlığı'nın iş gücünü 923 mesleğe bölen O*NET taksonomisi kullanılmıştır.

Yazılım Geliştirme ve Öğrenme Açısından Çıkarımlar:

• Kendi Değerlendirme Veri Setinizi (Golden Dataset) Oluşturun: Genel akademik kıyaslama testleri (MMLU, HumanEval vb.) Bilgisayar ve Matematik (29/36) gibi alanları iyi ölçse de, spesifik iş süreçlerinin %90'ını kapsamaz. Üretim ortamına (production) geçişte kendi alanınıza özgü Golden Dataset ve AI Test Stratejileri geliştirmelisiniz.
• Niş Alanlardaki Fırsatları Görün: Hukuk katipliği, sağlık veya eğitim gibi orta ölçekli bilgi işçiliği alanlarında standart değerlendirme araçlarının eksik olması, bu dikeylerde özel doğrulama (evaluation) ve LLM-as-a-Judge sistemleri kuran geliştiriciler için büyük bir rekabet avantajı sunar.
• Model Seçiminde Gerçek Görevleri Baz Alın: Modeller: Hangisi, Ne Zaman? kararını verirken genel liderlik tablolarına güvenmek yerine, uygulamanızın hedeflediği gerçek görevler üzerinde PromptFoo ile Regresyon Testi yaparak model performansını doğrulayın.