LLM Eleştirmenim Her Çalıştırmada Fikir Değiştiriyor. Sorun Değil — Çünkü Neyi Ölümcül Sayacağına Bir Frozenset Karar Veriyor

Bu makale, PlannerCritic serisinin bir tamamlayıcısı niteliğindedir. İkinci makale belirli bir eleştirmen (critic) hatasını konu alırken, bu yazı hatanın düzeltilmesinden çıkarılan tasarım prensibini ve bu prensibin geçerliliğini kanıtlayan ölçümleri ele alıyor. Özdeş girdilerle beş deneme boyunca test edilen LLM eleştirmeni, her çalıştırmada farklı bir karar vermiştir (label_flip_rate = 1.0). Buna rağmen kusurlu hiçbir planın güvenlik ağından geçmesine izin vermemiştir (underclaim_approvals = 0). Bu iki tezat gerçeğin bir arada var olabilmesini sağlayan unsur ise deterministik bir frozenset yapısıdır.

Rahatsız Edici Ölçüm

v0.2.1 sürümünde, sınır senaryosu (boundary-case) planlarının gerçek eleştirmen modelinden beş kez geçirilip değişimlerin incelendiği canlı değerlendirici (#218) testi eklendi. Ortaya çıkan metrikler şunlardır:

label_flip_rate (1.000): Eleştirmen, birebir aynı girdi için her denemede kararını değiştirmiştir.
evidence_drift_rate (1.000): Eleştirmen, her denemede farklı bir gerekçe ve açıklama uydurmuştur.
family_migration_rate (0.000): Sisteme eklenen hiçbir yapay kusur tavsiye (advisory) kategorisine kaymamıştır.
underclaim_approvals (0): Kusurlu hiçbir plan sıfır engelleyici (blocker) alarak güvenlik ağından kaçamamıştır.

Aynı plan üzerinde beş denemenin tamamında farklı karar ve mantık üretilmesi, güvenlik sözleşmesini modelin tutarlılığı üzerine kurmanın imkânsızlığını gösterir.

Güvenlik Sözleşmesi Bunu Neden Umursamıyor?

Eleştirmen karar düzeyinde %100 deterministik değildir; ancak enjekte edilen kusurlarda %0 eksik iddia oranına sahiptir. Mimaride iki farklı hata yönü iki ayrı otoriteye devredilmiştir:

Eksik İddia (Under-claim): Kusurlu bir planın sıfır engelleyici almasıdır. Kötü bir planın sızmasına yol açan tehlikeli yöndür.
Aşırı İddia (Over-claim): Sağlam bir planın "yeterince kapsamlı değil" gerekçesiyle engellenmesidir. İyi bir planın gereksiz eskalasyonuna yol açan gürültülü yöndür.

Bu otoritelerin hiçbiri LLM değildir:

Deterministik Kapılar (Under-claim Yönü): Ön koşullar, topolojik sıralama ve geri alma (rollback) güvenirliği gibi kontroller plan metnini değil, AST (Soyut Sözdizim Ağacı) yapısını ayrıştırır. Doğal dil işlemedikleri için prompt injection tehdidi taşımazlar. LLM'in kaçırdığı kusur, deterministik kapılar tarafından yakalanır.
Kod Tabanlı İzin Listesi (Over-claim Yönü): Yanlış alarmları ve aşırı iddiaları sınırlayan otorite doğrudan kod tabanlı kurallardır.

Frozenset Sözleşmenin Kendisidir

Eleştirmene "hasmane plan denetçisi" rolü verildiğinde, planları güvensiz olduğu için değil, tamamlanmamış olduğu gerekçesiyle ("bu plan X sınır durumunu da kapsayabilirdi") engellemeye başlamıştır. Prompt mühendisliği bu sorunu çözememiş; eleştirmen kapsam endişelerini %30 oranında engelleyici seviyesine taşımaya devam etmiştir.

Kesin çözüm kod düzeyinde bir izin listesidir (frozenset):

_BLOCKER_ELIGIBLE_FAMILIES = frozenset({"unsafe_sequencing", "weak_rollback", "unverified_dependencies", "feasibility"})

Bir bulgu yalnızca bu ailelerden birine aitse engelleyici (BLOCKER) statüsü kazanabilir.

Yazılım Geliştirme Çıkarımı: Üretim ortamlarında LLM güvenilirliği, model çıktılarının tutarlılığına güvenmekle değil; eksik iddiaları deterministik AST denetleyicileriyle, aşırı iddiaları ise kod düzeyinde frozenset filtreleriyle kısıtlamakla sağlanır.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.