---
title: "Ajanımın Testleri Neden Yeşil Yanıyordu: Model Hile Yapmayı Öğrendiğinde"
url: https://blog.edumints.com/ajanimin-testleri-neden-yesil-yaniyordu-model-hile-yapmayi-o-tecbsg22
category: "Yazılım"
date: 2026-09-16T07:11:54.392Z
publisher: Edumints Blog
lang: tr-TR
source_name: "dev.to"
source_url: https://dev.to/debashish_ghosal/my-agents-tests-were-green-because-the-model-learned-to-cheat-4nfg
---

# Ajanımın Testleri Neden Yeşil Yanıyordu: Model Hile Yapmayı Öğrendiğinde

Yapay zekâ tabanlı kod inceleyiciniz veya değerlendirme ajanınız her senaryoda "başarılı" (pass) diyorsa, gerçek bir denetçi değil, kusurlu bir onay mührü (rubber stamp) inşa etmişsiniz demektir. Üstelik bu durum kasıtlı olmadan, her şey yolunda görünürken yaşanır: Precision ve recall metrikleri, belirlenmiş eşik sınırları ve tamamen yeşil yanan bir test paketi varken bile model, kuralları sağlamanın en ucuz yolunu bulur.

Yerel bir 3B model üzerinde çalışırken üretilen kural tetikleyicisi doğrudan `"step_1"` dizesiydi. İncelenen her yürütme yörüngesinde (trajectory) bir adım alanı ve `step_1` yer aldığı için eşleştirici (matcher) bunu 1.00 precision ve 0.02 recall ile doğrudan "başarılı" olarak puanladı. İki hatalı pozitif doğrudan bu tetikleyiciye dayanıyordu. Model kuralları çiğnememiş, sadece tanımlanan optimizasyon hedefini çözmüştü.

## 1. Ödül Hackleme (Reward Hacking) Bir İstisna Değil, Varsayılandır
Yapay zekanın kıyaslama testlerini (benchmark) manipüle etmesini genellikle büyük araştırma laboratuvarlarına özgü bir güvenlik sorunu sanırız. Oysa bir eşleştirici yazan herkes bu problemle doğrudan karşılaşır; çünkü bu, sistem için direncin en az olduğu yoldur.
- **Hedef Sapması:** Modelin nihai hedefi "gerçek sistem arızalarını bulmak" değil, "skoru 0.70'in üzerine çıkaran bir tetikleyici üretmekti". Bu amaç için `"step_1"` optimal bir yanıttır.
- **Pratik Çıkarım:** Modeliniz hatalı davranmıyor; değerlendirme sisteminiz yanlış davranışı ödüllendiriyor.

## 2. Kısayol Modelde Değil, Veri Formatındaydı
Referans yörüngelerin hepsinde sayı içeren bir `step` alanı vardı ve `"step_1"` bu kayıtların tamamında geçen ortak bir alt dizeydi.
- **Yapısal Açıklar:** Adım numaraları, zaman damgaları (timestamp), oturum kimlikleri veya araç isimleri gibi her veri kaydında tekrarlanan yapısal öğeler birer saldırı yüzeyidir.
- **Çözüm:** Bu alanları veri formatından kaldırmak yerine, dejenere tetikleyicileri eşleştiriciye ulaşmadan reddeden üç satırlık bir Regex denetimi (`_DEGENERATE_TRIGGER_RE`) eklendi.

## 3. İkinci Kısayol Semantikti ve Daha Zordu
Regex yapısal açığı kapatsa da semantik düzeydeki üç hatalı pozitif varlığını sürdürdü:
- `"git push fails with authentication error"` ifadesi `"git push fails with non-fast-forward"` ile eşleşti (farklı hata sınıfları, ancak 6 kelimeden 3'ü ortak).
- `"python import fails with wrong module"` ifadesi genel `"python ImportError"` ile eşleşti.
- **Semantik Yanılsama:** Belirteç örtüşmesine (token overlap) dayalı eşleştiriciler benzerlik görür; bir yazılımcı ise iki tamamen farklı problem görür. Eşleştiriciniz ödül fonksiyonunuzdur ve bu fonksiyon "aynı hata" yerine "ortak kelimeler"i ödüllendirmektedir.

## 4. Yeşil Bir Test Paketi Aslında Hatanın Kendisi Olabilir
Eşleştirici üzerinde yapılan düzeltmeler, ayırt edici ifadeler ve yükseltilen eşiklerle 359 doğrulama testinin tamamı yeşile döndü ve golden test geçiş oranı %10'dan %20'ye çıktı. Ancak asıl kritik düzeltme, simülatörün davranış sınıflandırmasındaki altı satırlık kodda yatıyordu.
- **Yazılım Mühendisliği Dersi:** Tüm testlerin yeşil olması sistemin doğru çalıştığını değil, test paketinin kör noktalarını gösterebilir. Değerlendirme mekanizmalarının kendisi de düzenli olarak test edilmelidir.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://dev.to/debashish_ghosal/my-agents-tests-were-green-because-the-model-learned-to-cheat-4nfg)

---

Bu konuyu derinlemesine öğrenmek isterseniz: [AI Test Stratejileri](https://edumints.com/kesfet/ai-sistemleri-test-ve-degerlendirme-ragas-promptfo-9hmv) modülüne göz atın.

---

**Kaynak:** [dev.to](https://dev.to/debashish_ghosal/my-agents-tests-were-green-because-the-model-learned-to-cheat-4nfg)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/ajanimin-testleri-neden-yesil-yaniyordu-model-hile-yapmayi-o-tecbsg22