Neyi Yanıtlamayacağını Bilmek: Görsel-Dil Modellerinde Seçici Uyumsuzluk

Görsel-Dil Modellerinden (VLM), geçerli kullanıcı taleplerine faydalı yanıtlar üretmesi beklenirken; hatalı, güvenli olmayan, imkânsız veya cevabı bulunmayan istekleri ise uygun şekilde geri çevirmesi veya çekimser kalması beklenir. Ancak mevcut kıyaslama (benchmark) yaklaşımları, bir sorguyu genellikle tek parça olarak ele almakta ve isteği bütünüyle "yanıtlanabilir" ya da "reddedilmeli" olarak sınıflandırmaktadır. Gerçek dünya senaryolarında ise kullanıcı girdileri, yanıtlanabilir parçalar ile yanıtlanmaması gereken bileşenlerin bir arada bulunduğu hibrit ve bileşik yapılardan oluşur.

KoNA Benchmark'ı ve 5 Temel Kategori

Bu zorluğun üstesinden gelmek amacıyla geliştirilen KoNA, VLM'lerin seçici uyumsuzluk (selective non-compliance) yeteneklerini değerlendirmek üzere beş ana kategori tanımlar:

Yanlış Önerme (False Premise): Girdide görselle uyuşmayan hatalı bir varsayımın bulunması.
Görsel Olarak Erişilemezlik (Visual Inaccessibility): İstenen bilginin sunulan görsel üzerinden tespit edilemeyecek yapıda olması.
Evrensel Olarak Bilinemezlik (Universal Unknown): Bilimsel veya mantıksal olarak cevabı bilinmeyen soruların sorulması.
Görev Yapılabilirliği (Task Feasibility): Modelin veya sistemin sınırlarını aşan, pratik olarak imkânsız görev talepleri.
Güvenlik (Safety): Zararlı, etik dışı veya gizliliği ihlal eden istekler.

Bu kategorilerdeki her bir görev, tekil ve bileşik sorgu çiftleri altında iki temel yeteneği inceler: sorgu düzeyinde uyumsuzluk ve bileşen düzeyinde uyumsuzluk. Yapılan testler, modellerin reddetme, düzeltme veya çekimser kalma aşamalarında sıklıkla yetersiz kaldığını; özellikle seçici uyumsuzluk gerektiren bileşik sorgularda başarısızlığın çok daha belirginleştiğini göstermektedir.

Fine-Tuning ile Seçici Yanıt Başarısı

Araştırmacılar, bu problemi çözmek için modelleri KoNA'nın seçici uyumsuzluk örnekleri ile doğrudan cevaplanması gereken tam yanıtlanabilir veri kümelerini birlikte kullanarak ince ayardan (fine-tuning) geçirmiştir. İnce ayar yapılan modeller:

Yanıtlanabilir bileşenlere doğrudan cevap verme performansını büyük ölçüde korumuştur.
Reddedilmesi gereken bileşenleri ayırt etmede ve doğru uyumsuzluk tepkisi vermede ciddi bir doğruluk artışı sağlamıştır.

Bu sonuçlar, modellerin sorgunun geçerli kısımlarını yanıtlarken sorunlu kısımlarını başarıyla filtreleyebildiğini kanıtlamaktadır.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar

Üretim ortamında çok modlu yapay zekâ uygulamaları geliştiren mühendisler için bu bulgular önemli pratik çıkarımlar sunmaktadır:

Aşırı Reddetme (Over-Refusal) Tuzağından Kaçınmak: Güvenlik katmanlarının tüm istemi toptan reddetmesi kullanıcı deneyimini zedeler. Sistem mimarileri, sorgudaki geçerli kısımları yanıtlayıp yalnızca sakıncalı parçaları reddedecek esneklikte tasarlanmalıdır.
Bileşik Test Setleri Oluşturma: Test süreçlerinde yalnızca tekil senaryolar yerine, hem geçerli hem geçersiz unsurlar barındıran bileşik girdilerle test yapılarak halüsinasyon riski azaltılmalıdır.
Hedefe Yönelik Veri Setleri ile İnce Ayar: Standart prompt yönlendirmeleri bileşik sorgularda yetersiz kalabileceğinden, seçici uyumsuzluk senaryolarını içeren eğitim verileriyle modellerin güvenilirliği güçlendirilmelidir.

Orijinal makaleye buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: AI Test Stratejileri modülüne göz atın.