---
title: "Hangi Madde Kazanır? LLM'lerin Bağlayıcı Kurallara Uyup Uymadığını Kıyasladım"
url: https://blog.edumints.com/hangi-madde-kazanir-llm-lerin-baglayici-kurallara-uyup-uymadigini
category: "LLM"
date: 2026-10-08T15:22:19.405Z
publisher: Edumints Blog
lang: tr-TR
source_name: "dev.to"
source_url: https://dev.to/zhuoli_liang_b6b05a8c3c1c/which-clause-wins-i-benchmarked-whether-llms-follow-the-rules-that-actually-govern-4ogn
---

# Hangi Madde Kazanır? LLM'lerin Bağlayıcı Kurallara Uyup Uymadığını Kıyasladım

## Neyi ve Neden Kıyasladım?
Yarışma ve ödül programlarında kurallar nadiren tek bir sayfada toplanır; açılış sayfası, SSS (FAQ), yarışma kuralları ve platformun genel Resmi Kuralları zamanla birbirinden farklılaşır. Yarışma kurallarını okuyan **Fine Print** ajanını geliştirirken şu temel soru ortaya çıktı: Samimi bir SSS metni ile bağlayıcı Resmi Kurallar çeliştiğinde, model hangisinin geçerli olduğunu ayırt edebiliyor mu?

Bunu test etmek için kurgusal kural paketleri ve somut sorulardan oluşan **Fine Print Bench** kıyaslaması geliştirildi. Modelden tiplendirilmiş bir yanıt, kararı doğrulayan asgari madde kimlikleri (clause ID) ve bir güven skoru üretmesi istenir. Kıyaslama, iki bölüme (split) ayrılmış toplam 160 maddeden oluşur:

## 1. Kolay Bölüm (80 Madde - 8 Kategori)
Kısa metinler ve tek adımlı öncelik geçişi içeren sekiz kategori incelenir:
- **Açık Yetki (Explicit authority):** Öncelik hiyerarşisi kuralı varken Resmi Kurallar ile SSS/blog metinlerinin karşılaştırılması.
- **Kapsam ve Değişiklikler (Scope & amendments):** Yeni bir SSS'nin resmi değişiklik sayılmaması ve yalnızca belirli bir alanı kapsayan güncellemeler.
- **Çözümsüz Yetki (Unresolved authority):** Eşit yetkili ve kural eşitliğini bozamayan çelişkili sayfalar veya tarafların uyuştuğu kontroller.
- **Kesin Teslim Tarihleri (Exact deadlines):** Yaz saati (DST) bitişleri, tarih çizgisi ve 30 saniyelik gecikmeler.
- **İş Günü Pencereleri (Business-day windows):** Tatiller, karar gününü ilk gün sayma şartı ve belirtilmemiş tetikleyici tarihler.
- **Uygunluk (Eligibility):** Eksik ikametgah bilgisi, bağlı şirket çalışanları ve 18 dışındaki reşitlik yaşları.
- **Teslim Çıktıları (Submission artifacts):** Koşullu gereksinimler, taslak gönderiler ve gizli depolar.
- **Bildirim ve Ödeme (Notification & payout):** "İlk bildirim girişimi" ile e-postanın fiilen alınması arasındaki farklar.

## 2. Zor Bölüm (80 Madde)
Gerçek uzunluktaki kurallar (~800 kelimelik standart şablon metinler), iki aşamalı öncelik sırası (Değişiklik → Yarışma Sayfası → Kurallar), döngüsel atıflar, IANA zaman dilimleri, çok turlu düzeltmeler ve 6–40 katılımcı verisi üzerinden hesaplamalar içerir. Paketlerin yaklaşık beşte birinde tek bir kesin cevap yoktur (`insufficient_information`).

**Önemli Ayrıntı (Twist):** Her paket iki kez sunulur. İkinci kopya anlamsal olarak aynıdır; sadece kaynak, olgu veya kayıt sırası değiştirilir ya da ilgisiz bir sayfa eklenir. Kuralları tutarlı anlayan bir model her iki varyasyonda da aynı cevabı vermelidir.

## Puanlama Metrikleri (LLM Hakemi Yok)
- **Kesin Doğruluk (Strict accuracy):** Durumun, değerin ve asgari kanıt maddelerinin tam doğruluğu.
- **Yalnızca Yanıt Doğruluğu (Answer-only accuracy):** Atıf katılığı ile akıl yürütme hatalarını ayıran değer doğruluğu.
- **Sunum Değişim Oranı (Presentation flip rate):** Önemsiz sıra değişimlerinden sonra yanıtın değişme sıklığı.
- **Kendinden Emin Hata Oranı (Confident-wrong rate):** Güven skoru ≥ 0.9 olup yanlış çıkan yanıtların payı.

## Yazılım ve Yapay Zekâ Geliştiricileri İçin Çıkarımlar
- **Bağlam Sırası Yanlılığı:** Agent mimarilerinde bağlamdaki bilgi sırasının değişmesi kararları saptırabilir; sistemlerin permütasyon testlerine tabi tutulması gerekir.
- **Deterministik Ölçüm:** LLM-as-a-judge yerine kural ve bootstrap tabanlı katı doğruluk kontrolleri daha güvenilir metrikler sunar.
- **Belirsizlik Yönetimi:** Modelin yetersiz veri durumunda halüsinasyon üretmek yerine çekimser kalabilmesi (`insufficient_information`) kritik bir üretim gereksinimidir.



---

Bu konuyu derinlemesine öğrenmek isterseniz: [AI Test Stratejileri](https://edumints.com/kesfet/ai-sistemleri-test-ve-degerlendirme-ragas-promptfo-9hmv) modülüne göz atın.

---

**Kaynak:** dev.to (https://dev.to/zhuoli_liang_b6b05a8c3c1c/which-clause-wins-i-benchmarked-whether-llms-follow-the-rules-that-actually-govern-4ogn)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/hangi-madde-kazanir-llm-lerin-baglayici-kurallara-uyup-uymadigini