--- title: "Düzgün Biçimlendirilmiş Bir Sayı Ölçüm Değildir: 7 Değerlendirme Aracında 13 Hata" url: https://blog.edumints.com/duzgun-bicimlendirilmis-bir-sayi-olcum-degildir-7-degerlendirme category: "LLM" date: 2026-10-08T09:24:51.798Z publisher: Edumints Blog lang: tr-TR source_name: "dev.to" source_url: https://dev.to/driftproofhq/a-well-formed-number-is-not-a-measurement-13-defects-across-7-eval-tools-gde --- # Düzgün Biçimlendirilmiş Bir Sayı Ölçüm Değildir: 7 Değerlendirme Aracında 13 Hata 6 Ekim'de MLflow, `MetricThreshold` bileşenindeki model doğrulama hatasını gideren bir düzeltmeyi birleştirdi (mlflow/mlflow#26252). Bu küçük hata, yapay zeka değerlendirme (eval) yazılımlarındaki çok daha geniş bir başarısızlık modelini özetliyor: Bir araç, arkasında iddia ettiği kanıt bulunmayan ancak format olarak kusursuz görünen bir sayı ya da karar üretebilir. ## Hatanın Anatomisi: Temel Değer Yanılgısı `MetricThreshold`, bir modelin dağıtıma alınmasını (promotion) temel modele (baseline) göre nispi iyileşmeye bağlayabiliyordu. Ancak kod, değişimi doğrudan işaretli temel değere bölüyordu. $R^2$ gibi metriklerde temel değer negatif olduğunda, bağıl değişim hesabının işareti tersine döndü; böylece daha kötü bir model eşiği geçerken daha iyisi elendi. Sistem çökmedi, bozuk bir değer üretmedi; araç yalnızca yanlış ölçüme tertemiz bir yanıt verdi. Birleştirilen düzeltme, değişimi temel değerin mutlak büyüklüğüne oranlıyor ve 26 regresyon senaryosu ekliyor. ## 7 Araçta İncelenen 13 Hata Açık kaynaklı yedi değerlendirme aracının (agent-skills eval harness ve referans denetim betiği, NVIDIA SkillEvaluator, DSPy, LangSmith, DeepEval, Harbor ve MLflow) puanlama kodları incelendiğinde, 12'si çevrimdışı olmak üzere 13 hata yeniden üretildi. Zenodo'da yayımlanan araştırma makalesinde (*Reported, Not Measured: An Empirical Study of Measurement Defects in LLM and Agent Evaluation Tools*) belgelenen bu 13 kusur tam olarak altı türe ayrılıyor: - **Kanıt yokluğunun ölçüm olarak puanlanması** - **Bir sonucun yanlış birime bağlanması** - **Bir vekilin (proxy) eylemin kendisi sayılması** - **Eski durumun güncelmiş gibi okunması** - **Eşik değerinde bir işaret hatası** - **Yapay ürünün (artefact) hiç iddia etmediği bir hedefe yönelik kontrol yapılması** Yazar bu tarafsız standardı kendi aracı Driftproof'a da uygulayarak geçmişteki benzer hataları katalogladı. ## Neden İstatistiksel Bir Problem Değil? Gürültülü bir ölçüm daha fazla örneklem veya güven aralıklarıyla iyileştirilebilir; ancak baştan geçersiz bir sayı istatistikle onarılamaz. Negatif tabanlı bir testi defalarca çalıştırmak, yanlış sonucu yalnızca daha yüksek bir güvenle üretir. Bu durum model terfisi, kabul edilen regresyonlar ve ajanların CI süreçlerinden geçişi gibi kritik kararları doğrudan saptırır. ## Yazılım Geliştirme İçin Pratik Çıkarımlar - **Yeşil Test Yanılsaması:** Bir değerlendirme aracının geçerli bir float değeri veya başarılı bir sonuç döndürmesi, doğru şeyi ölçtüğünüzü kanıtlamaz. - **Kayıt ve Denetim Şemaları:** Makalede önerildiği gibi, değerlendirme kayıtları kanıtı doğrulayan alanlar ve sıkı kontroller taşımalıdır. - **Uç Durum Regresyonları:** Metrik yönleri ve negatif değerler gibi sınır durumlar için kapsamlı regresyon testleri kurgulanmalıdır. --- Bu konuyu derinlemesine öğrenmek isterseniz: [AI Test Stratejileri](https://edumints.com/kesfet/ai-sistemleri-test-ve-degerlendirme-ragas-promptfo-9hmv) modülüne göz atın. --- **Kaynak:** dev.to (https://dev.to/driftproofhq/a-well-formed-number-is-not-a-measurement-13-defects-across-7-eval-tools-gde) **Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/duzgun-bicimlendirilmis-bir-sayi-olcum-degildir-7-degerlendirme