---
title: "Görsel Kontrol İçin LLM-as-Judge Sistemini κ 0.80 Seviyesine Kalibre Etmek"
url: https://blog.edumints.com/gorsel-kontrol-icin-llm-as-judge-sistemini-0-80-seviyesine-kalibre
category: "LLM"
date: 2026-10-19T07:07:45.841Z
publisher: Edumints Blog
lang: tr-TR
source_name: "dev.to"
source_url: https://dev.to/faishalwahiduddin/calibrating-an-llm-as-judge-for-a-vision-check-to-k-080-2h50
---

# Görsel Kontrol İçin LLM-as-Judge Sistemini κ 0.80 Seviyesine Kalibre Etmek

AutoKon adlı inşaat platformunda, yüklenici ödemeleri yalnızca saha fotoğrafları yapay zeka kontrolünden geçtikten sonra serbest bırakılıyordu. Bağlam için Pinecone destekli Claude Opus Vision her fotoğrafı betimliyor, Arize AX üzerindeki ayrı bir **LLM-as-a-Judge** (Hakem olarak LLM) hattı ise bu betimlemeleri tutarlılık ve eksiksizlik açısından puanlıyordu. Hakem modellerin ödeme kararlarında geçerli sayılması için insan incelemesiyle **κ ≥ 0.80** (Cohen's Kappa) uyum skoruna ulaşması şarttı. Değerlendirmeler sürüm kontrolü altında tutuluyor ve `phoenix-evals` ile GitHub Actions üzerinden CI sürecinde çalışıyordu.

*Kapsam notu:* Burada veri seti boyutları veya tam istem metinleri yerine, kendi görsel görevlerinize doğrudan uygulayabileceğiniz genel mühendislik yöntemi paylaşılmaktadır. Edumints üzerindeki **Arize Phoenix: LLM Kalite Değerlendirme** ve **LLM-as-a-Judge ve Braintrust** modülleriyle bu mimariyi pratikte derinleştirebilirsiniz.

## Bir Hakem Modelin Neden Kalibrasyona İhtiyacı Vardır?

Üretici model betimlemeleri yazar; hakem model ise bunları puanlayarak yalnızca küçük bir örneklemi değil, tüm çıktıları denetlemenizi sağlar. Ancak kritik nokta şudur: Hakem de bir modeldir ve insanlarla karşılaştırana kadar ne kadar güvenilir olduğunu bilemezsiniz. Kalibrasyon, hakemin dikkatli insan incelemeleriyle ne sıklıkta hemfikir olduğunu ölçmek, uyum yeterince yükselene dek sistemi ayarlamak ve bu seviyeyi korumaktır. Bu adım olmadan, gösterge panelindeki hakem skorları kimsenin doğrulamadığı sayılardan ibarettir.

## Hakem İstemini Yazmadan Önce Değerlendirme Rubriğini Tanımlayın

İşin en büyük kısmı burasıdır. İki insan "iyi"nin ne olduğu konusunda anlaşamıyorsa, hiçbir hakem model de anlaşamaz. Fotoğraf betimlemelerinde kalite iki ayrı boyuta ayrılır:

- **Tutarlılık (Groundedness):** Betimlemedeki her iddia fotoğrafta gerçekten görünüyor mu? Doğu duvarı kadraj dışındayken "doğu duvarında sıva tamamlandı" diyen bir betimleme, iddia gerçekte doğru olsa bile başarısız sayılır.
- **Eksiksizlik (Completeness):** Betimleme, işin bu aşaması için önemli olan unsurları kapsıyor mu? Tutarlı ama muğlak bir ifade ("bir duvar görünüyor"), ödeme kararı için işlevsizdir.

Uyumu artıran rubrik alışkanlıkları:

- **İlk başta ikili (binary) etiketleri tercih edin:** "Geçti/Kaldı" kararı, insanların 1-5 arası bir ölçekte uzlaşmasından çok daha kolaydır. Yalnızca kritik bilgi kaybı varsa sıralı ölçeğe geçin.
- **Her boyut için tek bir hakem istemi kullanın:** Tek istemden iki boyutu birden puanlamasını istemek, birindeki yüksek puanın diğerini yanıltmasına (hale etkisi) yol açar.
- **Her kriteri yalnızca görsel ve betimleme ile yanıtlanabilecek bir soru olarak yazın:** İncelemecinin dış bilgiye ihtiyacı varsa hakemin de vardır; bu bilgiyi isteme ekleyin veya kriteri çıkarın.
- **Özellikle sınırda kalan (borderline) başarılı ve başarısız örnekleri dahil edin:** Değerlendiricilerin en çok ayrıştığı yerler sınır durumlarıdır.
- **Hakeme görseli de verin:** Yalnızca metin gören bir hakem metnin mantıklı duyulup duyulmadığını kontrol eder; görsel hakem ise metni doğrudan piksellerle karşılaştırır.

## İnsan Etiketli Bir Veri Seti Oluşturun

**Golden Dataset Oluşturma** süreçlerinde de uygulanan genel yöntem şu dört adımdan oluşur:

- **Kapsam için örnekleme yapın:** Farklı ışık koşulları, açılar, iş aşamaları, bulanık çekimler ve üretici modelin zorlandığı bilinen durumlardan fotoğraflar seçin.
- **Hataları fazla örnekleyin (oversample):** Betimlemelerin %95'i sorunsuzsa, rastgele örnekleme kalibrasyon için çok az hata sunar ve kappa skoru kararsızlaşır.
- **İki kişinin yazılı rubriği kullanarak birbirinden bağımsız etiketleme yapmasını sağlayın:** Etiketleyiciler birbirlerinin kararlarını görmemelidir.
- **Önce insan-insan uyumunu ölçün:** Bu sayı sizin pratik tavanınızdır; iki insan anlaşamıyorsa modeli kalibre etmeye çalışmak yerine rubriği düzeltmeniz gerekir.

---

**Kaynak:** dev.to (https://dev.to/faishalwahiduddin/calibrating-an-llm-as-judge-for-a-vision-check-to-k-080-2h50)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/gorsel-kontrol-icin-llm-as-judge-sistemini-0-80-seviyesine-kalibre