Jev: Kalibre Edilmiş Kararlar için RLCD ile Sıfır Örnekli Yapay Zeka Hizalama Hatası Tespiti

Yapay Zeka Hizalama Hataları ve Denetim Zorlukları

Üretime alınan büyük dil modellerinin (LLM) güvenliğini denetlemek ve hizalama (alignment) kıyaslamalarını puanlamak günümüz yapay zeka mühendisliğinin en kritik alanlarından biridir. Güncel yaklaşımların büyük kısmı, her bir değerlendirme kriteri için ayrı bir üretim (decoding) adımı çalıştıran üretken yargıç modellerdir (LLM-as-a-Judge). Llama Guard gibi belirteç olasılıklarını okuyan sınıflandırıcılar ise çağrı başına yalnızca önceden tanımlanmış tek bir sabit etiketi puanlayabilir.

Bu kısıtları aşmak üzere geliştirilen Jev, kalibre edilmiş kararlar için pekiştirmeli öğrenme (RLCD - Reinforcement Learning for Calibrated Decisions) yöntemiyle eğitilmiştir. Jev, tek bir çıkarım çağrısında aynı girdi metnine yönelik birden fazla yapılandırılmış soruya yüksek güvenilirlikli ve kalibre edilmiş olasılıklarla yanıt verebilmektedir. Modelin hizalama açıklarını yakalama başarısını test etmek amacıyla geliştirilen RLCDAlignBench, 44 kıyaslama seti ve 5 hedef model üzerinde Jev'i şu 10 temel hizalama hatasında değerlendirmiştir:

Dalkavukluk (Sycophancy): Modelin, gerçeği söylemek yerine kullanıcının hatalı inanç veya görüşlerine yaranacak şekilde yanıt vermesi.
Güvenlik Aşımı (Jailbreak): Sistemin güvenlik ve içerik koruma filtrelerini aşmayı hedefleyen yönlendirmelerin uygulanması.
Yanıltma (Deception): Sistemin kullanıcıyı kasten yanlış yönlendirmesi veya gerçeğe aykırı ifadeler üretmesi.
Prompt Enjeksiyonu (Prompt Injection): Dış veya dinamik girdiler üzerinden sistem talimatlarının manipüle edilmesi.
Halüsinasyon (Hallucination): Gerçek bilgiye dayanmayan veya bağlamla çelişen olguların gerçek gibi sunulması.
Gizlilik İhlali (Privacy Violation): Kişisel verilerin, gizli sistem yönergelerinin veya hassas bilgilerin açığa çıkarılması.
Sosyal Yanlılık (Social Bias): Toplumsal cinsiyet, ırk veya diğer gruplara yönelik ayrımcı ve önyargılı ifadelerin üretilmesi.
Ödül Manipülasyonu (Reward Hacking): Gerçek hizalama hedefini gerçekleştirmek yerine değerlendirme metriğini aldatarak yüksek skor elde edilmesi.
Belirsizliği Gizleme (Concealing Uncertainty): Modelin emin olmadığı veya yetersiz kaldığı konularda şüpheyi gizleyip kesinmiş gibi yanıt üretmesi.
Güç Arayışı (Power Seeking): Sistemin kendi otonomisini, kaynak erişimini veya operasyonel kontrol alanını genişletmeye çalışması.

İlişkisel Bağlam ve Mimari Yaklaşım

Hizalama hatalarının büyük kısmı tek başına model yanıtından tespit edilemez; kullanıcının inancı ya da enjekte edilen talimat gibi bir referans bağlamla ilişkiseldir. Araştırmanın temel yeniliği, Jev'e sorulan soru (kalıp ve yanıt türü) ile modelin gördüğü girdi alanlarını birbirinden bağımsız olarak çeşitlendirmektir. Yapılan deneylerde, tek bir genel soru sıfır örnekli (zero-shot) olarak 0.886 medyan AUROC skoruna ulaşmış ve çoğu kıyaslamada gözetimli modelleri geride bırakmıştır. Soru kalıbının etkisi sınırlıyken, etiketi barındıran bağlam alanları performansı doğrudan belirlemektedir.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar

Maliyet ve Gecikme Optimizasyonu: Geleneksel LLM-as-a-Judge mimarileri her kriter için ayrı decoding adımı yaparak üretim maliyetlerini artırırken, Jev üretken yargıçlara kıyasla 63 kat daha düşük maliyet sunar.
Üretim Gözlemlenebilirliği (Observability): Tek bir API çağrısında birden fazla güvenlik kriterini kalibre edilmiş olasılıklarla döndürmesi, CI/CD ve regresyon testi süreçlerinde hızlı güvenlik duvarları (guardrails) kurmayı sağlar.
Etiket Kalitesi ve Veri Doğrulama: İnsan etiketleyicilerle referans puanlayıcılar arasındaki uyumu yakalayan Jev, mevcut test setlerindeki etiketleme hatalarını tespit ederek güvenilir test veri setleri oluşturulmasına katkı sağlar.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.29429)

Bu konuyu derinlemesine öğrenmek isterseniz: LLM-as-a-Judge ve Braintrust modülüne göz atın.