Eşit CER, Eşitsiz Hasar: OCR İçin Şiddet Ağırlıklı Karakter Hata Oranı (semCER)

Geleneksel OCR Değerlendirmesinin Sınırları ve semCER Yaklaşımı#

Optik Karakter Tanıma (OCR) ve Görsel-Dil Modelleri (VLM'ler) için standart değerlendirme metriği olan Karakter Hata Oranı (CER), basit bir yazım hatasını yanlış yazılmış bir özel isimle aynı kefeye koyar. Üretim ortamlarında doküman işleme sistemleri geliştirirken bu durum ciddi bir kör nokta yaratır; çünkü bir fatura veya sözleşmede sıradan bir harf hatası tolere edilebilirken, kişi adındaki veya kritik bir terimdeki tek harflik değişim iş mantığını tamamen bozabilir.

Bu problemi çözmek için geliştirilen semCER, geleneksel CER'in hizalama (alignment) ve payda yapısını korurken, kelime bölütlemesine (word segmentation) ihtiyaç duymadan her bir grafem (harf/karakter) düzenlemesine bir LLM-as-a-Judge (Hakem olarak LLM) aracılığıyla hata şiddeti puanı atar. Normalize edilmiş CER, tüm bir transkripsiyonun genel skorunu koruyarak okuyucu değerlendirmelerini semCER kadar veya daha iyi takip edebilirken; semCER bu genel skoru anlamlı ve adlandırılmış düzenleme türlerine (named edits) ayrıştırır.

Çok Dilli Performans ve Okuyucu Algısıyla Uyum#

Metriğin insan algısıyla ne kadar örtüştüğü incelendiğinde şu temel bulgular öne çıkmaktadır:

• Adım Adım Hata Takibi: Atanan ceza puanları, İngilizce, Vietnamca ve Çince dillerinde okuyucuların yaptığı değerlendirmeleri düzenleme bazında (edit by edit) yakından takip eder ve okuyucuların en yıkıcı bulduğu hataları sıralı bir listenin en üstüne taşır.
• Kararsız Durumlarda Üstünlük: Standart CER ile semCER'in birbiriyle çeliştiği örnek çiftlerinde, okuyucular İngilizce ve Çincede normalize CER yerine daha sık semCER ile aynı fikirde olurken, Vietnamcada her iki metrikle eşit sıklıkta uzlaşmaktadır.
• Dillere Göre Bağlamsal Hassasiyet: 16 dil genelinde yapılan testlerde, LLM hakemi İspanyolcadaki yanlış bir aksan veya ton işaretine neredeyse sıfır ceza keserken, Telugu dilinde aynı türden bir hataya neredeyse tamamen yanlış bir harf kadar yüksek şiddet puanı uygular.
• VLM ve Klasik Pipeline Farkı: Gerçek kelimelerin sayılabildiği dillerde, genel amaçlı bir VLM'in yaptığı yanlış harf hatası tesadüfün çok üzerinde bir olasılıkla başka bir gerçek kelime oluştururken (halüsinasyon/otomatik düzeltme etkisi), klasik bir OCR hattının hatası tesadüfi seviyelerde kalır.

Mühendislik ve Öğrenme Çıkarımları#

Yazılım geliştiriciler ve AI mühendisleri için bu araştırma, model değerlendirme (evaluation) süreçlerinde salt matematiksel mesafe metriklerinden (Levenshtein mesafesi gibi) anlamsal değerlendirme katmanlarına geçişin önemini göstermektedir:

• VLM Halüsinasyonlarını Yakalamak: VLM tabanlı OCR sistemleri, bozuk karakterleri bağlama uydurarak gerçek ama yanlış kelimelere dönüştürme eğilimindedir. Klasik CER bunu tek harflik küçük bir hata sayarken, LLM-as-a-Judge yaklaşımları anlam kaymasını tespit edebilir.
• Önceliklendirilmiş Hata Ayıklama (Debugging): Hataları şiddetine göre sıralamak, geliştirme ekiplerinin golden dataset oluştururken veya regresyon testi yaparken önce en kritik hatalara odaklanmasını sağlar.
• Açık Kaynak Araçlar: Araştırma ekibi; yargılanmış 61 milyon düzenlemeyi, toplu okuyucu derecelendirmelerini ve hafifletilmiş (distilled) puanlayıcı modeli https://github.com/nguyenx2t/semcer adresinde açık kaynak olarak paylaşmıştır. Kendi OCR/VLM boru hatlarınızda ağır LLM çağrıları yerine bu damıtılmış puanlayıcıyı entegre ederek düşük gecikmeli kalite kontrolü sağlayabilirsiniz.

---

Bu konuyu derinlemesine öğrenmek isterseniz: LLM-as-a-Judge ve Braintrust modülüne göz atın.