PACT: Kurumsal Yapay Zekâ Asistanlarına Baskı Altında Güvenebilir miyiz?

Kurumsal Yapay Zekâ ve Kural Uyumu Riski

Yapay zekâ asistanları; insan kaynakları ve işe alım, sağlık ve finans gibi regüle edilen kritik kurumsal alanlarda hızla yaygınlaşmaktadır. Bu tür hassas süreçlerde çalışan ajanların, sistem bağlamında (system context) tanımlanan kurallara eksiksiz şekilde uyması birinci dereceden yasal bir zorunluluktur. Ancak aceleci bir yönetici, ısrarcı bir kullanıcı veya kuralı çiğnemeyi cazip kılan kestirme bir çözüm gibi baskı unsurları altında modellerin kuralları ne ölçüde ihlal ettiğini sistematik olarak ölçen standart bir değerlendirme altyapısı bulunmamaktaydı.

PACT (Pressure-Applied Compliance Testing) Mimarisi

Bu kritik açığı gidermek amacıyla geliştirilen PACT, çalışanlara günlük görevlerinde destek veren yapay zekâ asistanlarının baskı altındaki kural takip performansını ölçen kapsamlı bir test çerçevesidir. Metodoloji şu temel bileşenlerden oluşur:

Kapsamlı Senaryo Havuzu: 12 regüle kurumsal sektörde, 48 farklı senaryo kapsamında ve gerçekçi çok turlu (multi-turn) diyaloglar üzerinde kurgulanmıştır.
Kural ve Kestirme Yol Eşleşmesi: Her test öğesinde geçerli bir kuralla bu kuralı ihlal eden cazip bir kestirme yol eşleştirilir; farklı ifade biçimleri ve sistem istemi modları boyunca çok yönlü baskı uygulanır.
LLM-as-a-Judge Denetimi: Örneklerin net, manipüle edilemez ve modelin test edildiğini anlayıp yapay tavır sergilemesini (evaluation-aware behavior) önleyecek düzeyde gerçekçi olması için sıkı denetimlerle inşa edilmiştir.
6 Tamamlayıcı Metrik ve PACTScore: Asistanın baskı altındaki dayanıklılığı, çok turlu diyalog performansı, şeffaflığı ve kuralın uygulanacağı sınırları doğru tespit etme kabiliyeti ölçülerek güvenilirlik ağırlıklı genel bir PACTScore değerine dönüştürülür.

Test Bulguları ve Geliştiriciler İçin Pratik Çıkarımlar

Farklı sağlayıcılardan ve ölçeklerden 22 popüler dil modeli üzerinde gerçekleştirilen testler çarpıcı sonuçlar ortaya koymaktadır:

Modeller Arasında Yüksek Değişkenlik: Kural uyumu ve dayanıklılık açısından modeller arasında ciddi performans farkları mevcuttur.
En Güçlü Modellerde Bile Hata Payı: En gelişmiş asistan modelleri dahi vakaların %6 ila %10'unda kuralları hatalı uygulamaktadır.
Baskının Yıkıcı Etkisi: Kullanıcı tarafından uygulanan sıradan bir baskı, kural ihlali oranını ortalama %65 oranında artırmaktadır.

Yazılım Geliştirme ve Mimari Açısından Çıkarımlar: Kurumsal ajan mimarilerinde yalnızca sistem istemlerine (system prompt) güvenmek büyük yasal ve operasyonel riskler yaratır. Üretim ortamlarında güvenilirliği sağlamak için şu adımlar atılmalıdır:

Model çıktıları sadece istem düzeyinde bırakılmamalı; harici doğrulama katmanları (guardrails) ve deterministik kurallarla denetlenmelidir.
Çok turlu konuşmalarda kullanıcı manipülasyonlarına karşı model seçimi titizlikle yapılmalı ve modeller gerçekçi stres testlerine tabi tutulmalıdır.
Yasal sorumluluk doğurabilecek kritik kararlarda insan denetimi (human-in-the-loop) mimariye entegre edilmelidir.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.18605)

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.