Hangi Madde Kazanır? LLM'lerin Bağlayıcı Kurallara Uyup Uymadığını Kıyasladım

Neyi ve Neden Kıyasladım?#

Yarışma ve ödül programlarında kurallar nadiren tek bir sayfada toplanır; açılış sayfası, SSS (FAQ), yarışma kuralları ve platformun genel Resmi Kuralları zamanla birbirinden farklılaşır. Yarışma kurallarını okuyan Fine Print ajanını geliştirirken şu temel soru ortaya çıktı: Samimi bir SSS metni ile bağlayıcı Resmi Kurallar çeliştiğinde, model hangisinin geçerli olduğunu ayırt edebiliyor mu?

Bunu test etmek için kurgusal kural paketleri ve somut sorulardan oluşan Fine Print Bench kıyaslaması geliştirildi. Modelden tiplendirilmiş bir yanıt, kararı doğrulayan asgari madde kimlikleri (clause ID) ve bir güven skoru üretmesi istenir. Kıyaslama, iki bölüme (split) ayrılmış toplam 160 maddeden oluşur:

1. Kolay Bölüm (80 Madde - 8 Kategori)#

Kısa metinler ve tek adımlı öncelik geçişi içeren sekiz kategori incelenir:

Açık Yetki (Explicit authority): Öncelik hiyerarşisi kuralı varken Resmi Kurallar ile SSS/blog metinlerinin karşılaştırılması.
Kapsam ve Değişiklikler (Scope & amendments): Yeni bir SSS'nin resmi değişiklik sayılmaması ve yalnızca belirli bir alanı kapsayan güncellemeler.
Çözümsüz Yetki (Unresolved authority): Eşit yetkili ve kural eşitliğini bozamayan çelişkili sayfalar veya tarafların uyuştuğu kontroller.
Kesin Teslim Tarihleri (Exact deadlines): Yaz saati (DST) bitişleri, tarih çizgisi ve 30 saniyelik gecikmeler.
İş Günü Pencereleri (Business-day windows): Tatiller, karar gününü ilk gün sayma şartı ve belirtilmemiş tetikleyici tarihler.
Uygunluk (Eligibility): Eksik ikametgah bilgisi, bağlı şirket çalışanları ve 18 dışındaki reşitlik yaşları.
Teslim Çıktıları (Submission artifacts): Koşullu gereksinimler, taslak gönderiler ve gizli depolar.
Bildirim ve Ödeme (Notification & payout): "İlk bildirim girişimi" ile e-postanın fiilen alınması arasındaki farklar.

2. Zor Bölüm (80 Madde)#

Gerçek uzunluktaki kurallar (~800 kelimelik standart şablon metinler), iki aşamalı öncelik sırası (Değişiklik → Yarışma Sayfası → Kurallar), döngüsel atıflar, IANA zaman dilimleri, çok turlu düzeltmeler ve 6–40 katılımcı verisi üzerinden hesaplamalar içerir. Paketlerin yaklaşık beşte birinde tek bir kesin cevap yoktur (insufficient_information).

Önemli Ayrıntı (Twist): Her paket iki kez sunulur. İkinci kopya anlamsal olarak aynıdır; sadece kaynak, olgu veya kayıt sırası değiştirilir ya da ilgisiz bir sayfa eklenir. Kuralları tutarlı anlayan bir model her iki varyasyonda da aynı cevabı vermelidir.

Puanlama Metrikleri (LLM Hakemi Yok)#

Kesin Doğruluk (Strict accuracy): Durumun, değerin ve asgari kanıt maddelerinin tam doğruluğu.
Yalnızca Yanıt Doğruluğu (Answer-only accuracy): Atıf katılığı ile akıl yürütme hatalarını ayıran değer doğruluğu.
Sunum Değişim Oranı (Presentation flip rate): Önemsiz sıra değişimlerinden sonra yanıtın değişme sıklığı.
Kendinden Emin Hata Oranı (Confident-wrong rate): Güven skoru ≥ 0.9 olup yanlış çıkan yanıtların payı.

Yazılım ve Yapay Zekâ Geliştiricileri İçin Çıkarımlar#

Bağlam Sırası Yanlılığı: Agent mimarilerinde bağlamdaki bilgi sırasının değişmesi kararları saptırabilir; sistemlerin permütasyon testlerine tabi tutulması gerekir.
Deterministik Ölçüm: LLM-as-a-judge yerine kural ve bootstrap tabanlı katı doğruluk kontrolleri daha güvenilir metrikler sunar.
Belirsizlik Yönetimi: Modelin yetersiz veri durumunda halüsinasyon üretmek yerine çekimser kalabilmesi (insufficient_information) kritik bir üretim gereksinimidir.

Bu konuyu derinlemesine öğrenmek isterseniz: AI Test Stratejileri modülüne göz atın.