---
title: "Eşit CER, Eşitsiz Hasar: OCR İçin Şiddet Ağırlıklı Karakter Hata Oranı (semCER)"
url: https://blog.edumints.com/esit-cer-esitsiz-hasar-ocr-icin-siddet-agirlikli-karakter-hata-orani
category: "Yazılım"
date: 2026-10-17T09:05:28.105Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2610.20461
---

# Eşit CER, Eşitsiz Hasar: OCR İçin Şiddet Ağırlıklı Karakter Hata Oranı (semCER)

## Geleneksel OCR Değerlendirmesinin Sınırları ve semCER Yaklaşımı

Optik Karakter Tanıma (OCR) ve Görsel-Dil Modelleri (VLM'ler) için standart değerlendirme metriği olan **Karakter Hata Oranı (CER)**, basit bir yazım hatasını yanlış yazılmış bir özel isimle aynı kefeye koyar. Üretim ortamlarında doküman işleme sistemleri geliştirirken bu durum ciddi bir kör nokta yaratır; çünkü bir fatura veya sözleşmede sıradan bir harf hatası tolere edilebilirken, kişi adındaki veya kritik bir terimdeki tek harflik değişim iş mantığını tamamen bozabilir.

Bu problemi çözmek için geliştirilen **semCER**, geleneksel CER'in hizalama (alignment) ve payda yapısını korurken, kelime bölütlemesine (word segmentation) ihtiyaç duymadan her bir grafem (harf/karakter) düzenlemesine bir **LLM-as-a-Judge (Hakem olarak LLM)** aracılığıyla hata şiddeti puanı atar. Normalize edilmiş CER, tüm bir transkripsiyonun genel skorunu koruyarak okuyucu değerlendirmelerini semCER kadar veya daha iyi takip edebilirken; **semCER** bu genel skoru anlamlı ve adlandırılmış düzenleme türlerine (named edits) ayrıştırır.

## Çok Dilli Performans ve Okuyucu Algısıyla Uyum

Metriğin insan algısıyla ne kadar örtüştüğü incelendiğinde şu temel bulgular öne çıkmaktadır:

- **Adım Adım Hata Takibi:** Atanan ceza puanları, İngilizce, Vietnamca ve Çince dillerinde okuyucuların yaptığı değerlendirmeleri düzenleme bazında (edit by edit) yakından takip eder ve okuyucuların en yıkıcı bulduğu hataları sıralı bir listenin en üstüne taşır.
- **Kararsız Durumlarda Üstünlük:** Standart CER ile semCER'in birbiriyle çeliştiği örnek çiftlerinde, okuyucular İngilizce ve Çincede normalize CER yerine daha sık **semCER** ile aynı fikirde olurken, Vietnamcada her iki metrikle eşit sıklıkta uzlaşmaktadır.
- **Dillere Göre Bağlamsal Hassasiyet:** 16 dil genelinde yapılan testlerde, LLM hakemi İspanyolcadaki yanlış bir aksan veya ton işaretine neredeyse sıfır ceza keserken, Telugu dilinde aynı türden bir hataya neredeyse tamamen yanlış bir harf kadar yüksek şiddet puanı uygular.
- **VLM ve Klasik Pipeline Farkı:** Gerçek kelimelerin sayılabildiği dillerde, genel amaçlı bir VLM'in yaptığı yanlış harf hatası tesadüfün çok üzerinde bir olasılıkla **başka bir gerçek kelime** oluştururken (halüsinasyon/otomatik düzeltme etkisi), klasik bir OCR hattının hatası tesadüfi seviyelerde kalır.

## Mühendislik ve Öğrenme Çıkarımları

Yazılım geliştiriciler ve AI mühendisleri için bu araştırma, model değerlendirme (evaluation) süreçlerinde salt matematiksel mesafe metriklerinden (Levenshtein mesafesi gibi) **anlamsal değerlendirme** katmanlarına geçişin önemini göstermektedir:

- **VLM Halüsinasyonlarını Yakalamak:** VLM tabanlı OCR sistemleri, bozuk karakterleri bağlama uydurarak gerçek ama yanlış kelimelere dönüştürme eğilimindedir. Klasik CER bunu tek harflik küçük bir hata sayarken, **LLM-as-a-Judge** yaklaşımları anlam kaymasını tespit edebilir.
- **Önceliklendirilmiş Hata Ayıklama (Debugging):** Hataları şiddetine göre sıralamak, geliştirme ekiplerinin golden dataset oluştururken veya regresyon testi yaparken önce en kritik hatalara odaklanmasını sağlar.
- **Açık Kaynak Araçlar:** Araştırma ekibi; yargılanmış 61 milyon düzenlemeyi, toplu okuyucu derecelendirmelerini ve hafifletilmiş (distilled) puanlayıcı modeli `https://github.com/nguyenx2t/semcer` adresinde açık kaynak olarak paylaşmıştır. Kendi OCR/VLM boru hatlarınızda ağır LLM çağrıları yerine bu damıtılmış puanlayıcıyı entegre ederek düşük gecikmeli kalite kontrolü sağlayabilirsiniz.



---

Bu konuyu derinlemesine öğrenmek isterseniz: [LLM-as-a-Judge ve Braintrust](https://edumints.com/kesfet/ai-sistemleri-test-ve-degerlendirme-ragas-promptfo-9hmv) modülüne göz atın.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2610.20461)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/esit-cer-esitsiz-hasar-ocr-icin-siddet-agirlikli-karakter-hata-orani