--- title: "Whisper Nijerya Konuşmasını Sürekli Düzeltiyor: Bunu Nasıl Ölçtüm?" url: https://blog.edumints.com/whisper-nijerya-konusmasini-surekli-duzeltiyor-bunu-nasil-olctum category: "LLM" date: 2026-10-05T07:13:29.380Z publisher: Edumints Blog lang: tr-TR source_name: "dev.to" source_url: https://dev.to/nadinev/whisper-keeps-correcting-nigerian-speech-heres-how-i-measured-it-4f4j --- # Whisper Nijerya Konuşmasını Sürekli Düzeltiyor: Bunu Nasıl Ölçtüm? ## Neyi Kıyasladım? Bir konuşma tanıma (ASR) modeli Nijerya İngilizcesi veya Pidgin duyduğunda, konuşulanı olduğu gibi mi yazıya döker yoksa standart İngilizceye mi çevirir? Kaggle Kıyaslama Yarışması kapsamında yürütülen bu çalışma, metin tabanlı büyük dil modelleri yerine doğrudan ASR modellerini değerlendirir. Pidgin teknik olarak bağımsız bir dil olsa da bu çalışmada tüm Nijerya İngilizcesi ve Pidgin formları "diyalekt" çatısı altında ele alınmıştır. Standart ASR doğruluk testleri; model diyalekt sözcüklerini, argo ifadeleri veya Pidgin yapıları doğru transkribe ettiğinde bile modeli hatalı sayabilmektedir. Standart Kelime Hata Oranı (WER), standart İngilizce yazım kurallarına sahip referans metinlere göre ölçülür. Örneğin konuşmacı "pipo" dediğinde model bunu doğru duyup "pipo" yazsa dahi, referans metinde "people" yazıyorsa standart WER bunu bir ikame hatası sayar. Bu durum dinleme başarısını değil, yerel yazım farkını cezalandırır. Bu benchmark çalışması, gerçek algılama hatalarını diyalekt yazımından ayırarak 5 metrik raporlar: - **Ham WER (Raw WER):** Standart kelime hata oranı. - **Sadık WER (Faithful WER):** Konuşulan sözcükle birebir örtüşen sadık diyalekt varyantları ("pipo" gibi) düşüldükten sonra hesaplanan WER. - **Diyalekt Cezası (Dialect Penalty):** Ham WER ile Sadık WER arasındaki yüzdelik puan farkı. - **Halüsinasyon Oranı (Hallucination Rate):** Sadık diyalekt varyantı sayılmayan kelime hatalarının toplam hatalar içindeki payı. Kod düzeyinde bu tanım yalnızca uydurma sözcükleri değil, bu sınıfa giren tüm hataları kapsar. - **Normalizasyon Aşırı Düzeltmesi (Normalization Overcorrection):** Referans metnin diyalekt sözcüğü içerdiği ve modelin bunu standart İngilizceye "düzelttiği" hataların payıdır. Örneğin 100 hatada %10,6'lık oran, yaklaşık 11 diyalekt kelimesinin standart İngilizceye ("dey" → "they") çevrildiğini gösterir. Değerlendirme; 5 farklı konuşmacı kökeninden (Igbo, Yoruba, Hausa, Pidgin, çok dilli) seçilen 500 ses örneği ve insan etiketlemesini beklemeden çalışan 120 diyalekt kuralı içeren bir otomatik sınıflandırıcı ile yürütülmüştür. ## Test Edilen Modeller Accent Labs veri temizleme hattı ile hazırlanan ~24 bin örnek üzerinde, aksan ağırlıklı örnekleme ile eğitilen model ve temel modeller kıyaslanmıştır: - **OpenAI Whisper large-v3 (1.540M parametre):** Sıfır atışlı (zero-shot) genel amaçlı temel model. - **OpenAI Whisper small (244M parametre):** Diyalekt açığını karşılaştırmak için kullanılan hafif temel model. - **Accent Labs Fine-Tuned Whisper (1.540M parametre):** large-v3 mimarisinin Nijerya konuşmasıyla ince ayar yapılmış versiyonu. Whisper mimarisinin seçilme nedeni; yaygın, açık kaynaklı olması ve aynı mimaride sıfır atışlı ile ince ayarlı modellerin karşılaştırılarak yerel eğitim katkısının net görülmesidir. ## Kurulum Detayları ve Geliştirici Çıkarımları - **Test Verisi:** 500 test örneğinin 340'ı (%68) eğitim verisiyle kimlik bazında örtüşmektedir; bu yüzden geliştirici temiz 160 örneği ayrı raporlamıştır. Sıfır atışlı modeller bu veriyi hiç görmemiştir. - **İnferans Ayarları:** Dil `en` olarak zorlanmış, görev `transcribe` seçilmiş, noktalama işaretleri kaldırılmış ve metin küçük harfe dönüştürülmüştür. **Pratik Çıkarımlar:** Alan odaklı yapay zekâ geliştirmede standart metrikler (klasik WER gibi) modelin gerçek performansını maskeleyebilir. 120 kural tabanlı sınıflandırıcı örneğinde olduğu gibi, iş hedefine uygun özel değerlendirme metrikleri tasarlamak kritik bir mühendislik pratiğidir. Ayrıca test setindeki veri sızıntılarını (data leakage) temiz veriden ayırıp şeffafça raporlamak, güvenilir MLOps ve test stratejilerinin vazgeçilmez bir parçasıdır. --- Bu konuyu derinlemesine öğrenmek isterseniz: [AI Test Stratejileri](https://edumints.com/kesfet/ai-sistemleri-test-ve-degerlendirme-ragas-promptfo-9hmv) modülüne göz atın. --- **Kaynak:** dev.to (https://dev.to/nadinev/whisper-keeps-correcting-nigerian-speech-heres-how-i-measured-it-4f4j) **Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/whisper-nijerya-konusmasini-surekli-duzeltiyor-bunu-nasil-olctum