---
title: "LLM Sağlayıcınız Modelinizi Sessizce Düşürebilir ve Kimse Size Bunu Söylemez"
url: https://blog.edumints.com/llm-saglayiciniz-modelinizi-sessizce-dusurebilir-ve-kimse-size-bunu
category: "LLM"
date: 2026-10-24T15:07:48.772Z
publisher: Edumints Blog
lang: tr-TR
source_name: "dev.to"
source_url: https://dev.to/haoli/your-llm-provider-can-quietly-downgrade-your-model-and-nothing-will-tell-you-1ggg
---

# LLM Sağlayıcınız Modelinizi Sessizce Düşürebilir ve Kimse Size Bunu Söylemez

Ekim 2026'da Çinli yapay zeka topluluklarında tekrarlayan "performans düşüşü paniği" dalgaları yaşandı. Ücretli katmanlardaki kullanıcılar, modellerinin hiçbir bildirim, kontrol paneli göstergesi veya değişiklik günlüğü (changelog) olmadan sessizce değiştirildiğini ya da kısıtlandığını fark etti. İnsanlar kendi tespit ritüellerini icat ettiler: modelden SVG olarak bisiklet süren bir pelikan çizmesini istemek, şeker sayma soruları, "Japonya'nın mevcut başbakanı kimdir" parmak izi testleri ve hatta gizli hesap kısıtlamalarını kontrol etmek için destek sohbetlerine hata mesajları yazmak.

Tek seferlik parmak izi web siteleri mevcut olsa da kimse gerçek bir referans noktası (baseline) ve maliyet muhasebesi ile sürekli kanarya izlemesi (canary monitoring) yapmıyordu. Bu ihtiyacı çözmek için geliştirilen **model-canary**, uç noktanızı (endpoint) belirli bir takvimde yoklayan ve bir şeyler değiştiğinde size haber veren sıfır bağımlılıklı bir Python gözcüsüdür. Yazılım geliştiriciler için bu yaklaşım, dış API bağımlılıklarına körü körüne güvenmek yerine üretim ortamında sürekli doğrulama yapmanın önemini gösterir.

## Nasıl Çalışır?

Farklı hata modlarını yakalayan dört kanarya yoklaması (probe) bulunur:

- **identity-svg (Kimlik):** Bisiklet süren pelikan SVG testi — topluluğun altın standardıdır. Sessizce değiştirilen bir model, fark edilir derecede farklı bir resim çizer.
- **candy-arithmetic (Akıl Yürütme):** "3 şeker var, 1'ini al" — kalitesi düşürülmüş bir model en basit akıl yürütmede bile tökezler.
- **instruction-repeat (Talimat):** "Mavi" kelimesini beş kez tekrarla — talimatlara uyma becerisindeki bozulmayı yakalar.
- **factual-anchor (Olgusal):** Sabit olgusal soru — buradaki sinyal mutlak doğruluk değil, kendi referans noktanıza göre yaşanan sapmadır (drift).

Aracı kurup çalıştırmak için şu komutlar kullanılır:

```bash
pip install model-canary
model-canary init --endpoint https://api.openai.com/v1 --model gpt-6.1-sol
model-canary run     # yoklamalar çalışır, ilk çalışmada referans (baseline) yazılır
model-canary check   # çıkış kodu (exit code) sonucu bildirir
model-canary report  # markdown formatında sapma raporu üretir
```

`run` ve `check` komutlarını cron üzerine (saatlik yeterlidir) ekleyebilirsiniz. Bir sorun olduğunda `check` sıfır olmayan bir kodla çıkar:

- **0 (ok / warn / baselining):** Her şey yolunda veya hala referans örnekleri toplanıyor.
- **2 (degraded):** Yüksek güvenilirlikli sinyal: model değiştirildi, kalite düştü veya hesap işaretlendi.
- **3 (probe_failed):** İletişim koptu — asla model bozulması olarak raporlanmaz.
- **4 (throttled):** Sağlayıcı hız sınırı (rate-limit) uyguladı — bu da model bozulması değildir.

Her çalıştırma token kullanımını da kaydeder, böylece `report` komutu gözcünün kendisinin ne kadara mal olduğunu tam olarak gösterir. Maliyetini karşılayamayacağınız bir izleme aracı, sonunda kapatacağınız bir araçtır.

## Önemli Tasarım Kararları

Üretim ortamında LLM izleme sistemleri tasarlarken şu üç mühendislik ilkesi kritik pratik çıkarımlar sunar:

- **Uyarı verirken hata-açık (Fail-open) davranmak:** Çökmüş bir ağ, kalitesi düşmüş bir model demek değildir. İletişim hataları (çıkış 3) ve hız kısıtlamaları (çıkış 4) kendi ayrı sonuç ve çıkış kodlarını alır. Sadece açık hesap düzeyi işaretleyicileri (`subscription_sharing_user_not_eligible` gibi) `account_flag` uyarısını tetikler. Alt dizeler (substring) yerine yapılandırılmış `error.code` / `error.type` alanları eşleştirilir; aksi takdirde "capacity" kelimesini aramak internetin yarısındaki 503 hatalarını yanlışlıkla işaretlerdi.
- **Tek örnekle karar vermemek:** `run --samples 5` (varsayılan) birden fazla örnek alır; `check` ise son çalıştırmaların bir penceresine bakar ve k/n doğrulaması arar. Çoğu sağlayıcıda `temperature=0` determinizmi garanti etmez ve bazı yönlendiriciler (router) trafiğin bir kısmını daha küçük modellere gönderir — tek bir örnek bu iki durumu da yakalayamaz.
- **Referans (Baseline) hijyeni:** Referans noktasının güvenilir kabul edilmesi için en az 5 örneğe (`n≥5`) ihtiyacı vardır. Referanslar model/uç nokta/istem-özeti (prompt-hash) meta verilerini taşır; model değiştirirseniz yanlış bir sapma alarmı yerine `baseline_stale` uyarısı alırsınız. Temsili örnek son çalıştırma değil, medoid'dir. Referansı yeniden oluşturmak, halihazırda sapma gösteren çalıştırmaları hariç tutar, böylece bozulmuş bir dönem kendi referansını zehirleyemez.

Orijinal makaleye [buradan](https://dev.to/haoli/your-llm-provider-can-quietly-downgrade-your-model-and-nothing-will-tell-you-1ggg) ulaşabilirsiniz.

---

Bu konuyu derinlemesine öğrenmek isterseniz: [Model Monitoring ve Drift Tespiti](https://edumints.com/kesfet/mlops-model-lifecycle-yonetimi-mlflow-wb-dvc-ve-ze-vqko) modülüne göz atın.

---

**Kaynak:** dev.to (https://dev.to/haoli/your-llm-provider-can-quietly-downgrade-your-model-and-nothing-will-tell-you-1ggg)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/llm-saglayiciniz-modelinizi-sessizce-dusurebilir-ve-kimse-size-bunu