Çözücü Kararlarının Ötesinde: Otomatik Biçimselleştirme İçin Üretici Ödül Modelleri

Nöro-Sembolik Doğrulama ve VPU Zafiyeti

Nöro-sembolik sistemler, yapay zekâ modellerinin akıl yürütme adımlarını matematiksel çözücüler (solvers) ile güvence altına alarak doğruluğu garanti etmeyi hedefler. Ancak bu çözücüler, model tarafından üretilen biçimsel çevirinin (formal translation), hedeflenen şartnameye olan kesin referans eşdeğerliğini (reference-equivalence) koruyup korumadığını denetleme noktasında temelde kördür.

Çalışma, bu kritik zafiyeti Verdict-Preserving-Unfaithfulness (VPU) (Kararı Koruyan Sadakatsizlik) olarak tanımlar. VPU; anlamsal olarak hatalı veya geçersiz bir kodlamanın çözücü motoru üzerinde başarıyla çalışması ve beklenen doğru çözücü kararını (verdict) tesadüfen üretmesi durumudur. Yazılım geliştirme açısından bu durum, hatalı kurgulanmış bir iş mantığının yetersiz test senaryolarından geçerek sahte bir başarı (false positive) sağlamasına benzer. Makaledeki teorik analizler, yalnızca nihai karara odaklanan yapısal doğrulama sezgisellerinin (verdict-only heuristics), bu aldatıcı izleri tespit etmede matematiksel olarak şans düzeyine (yazı-tura olasılığına) mahkûm olduğunu kanıtlamaktadır.

Üretici Doğrulama (GenV) Mimarisi ve Bulgular

Bu sorunu ortadan kaldırmak amacıyla, dil modelinin yerel sözcük uzayını yeniden yapılandıran Generative Verification (GenV) yaklaşımı tanıtılmıştır:

Z3 Orakılı Damıtımı: Çevrimdışı bir Z3 eşdeğerlik orakılı (oracle), modelin sözcük dağarcığı üzerinden referans gerektirmeyen, sürekli bir referans-eşdeğerlik skoruna damıtılmıştır.
Mekanistik Analiz ve Hata Tespiti: Karar-yansıtmalı logit lensleri ve seyrek otokodlayıcılar (sparse autoencoders) ile gerçekleştirilen analizler; modelin açık bir lokalizasyon eğitimi almadan koddaki uzamsal hata koordinatlarını doğrudan saptayabildiğini göstermiştir.
Yüksek Doğrulama Skoru: Negatif madencilikle desteklenen GenV+HN modeli, referans-eşdeğerlik doğrulamasında 0.961 AUROC değerine ulaşarak yüksek doğruluk sergilemiştir.
Sıfır-Örneklem (Zero-Shot) Genelleme: Sistem, eğitimde görmediği çeviricilere ve birbirinden farklı biçimsel kodlama stillerine sıfır-örneklem ile güçlü bir şekilde genellenebilmektedir.
Ajan Başarımında Artış: Geliştirilen doğrulayıcı, otonom akıl yürütme sistemlerinde test zamanı hesaplama bütçesi tahsisinde (agentic test-time compute allocation) 11.3 puanlık nihai doğruluk artışı sağlamıştır.

Geliştiriciler İçin Pratik Çıkarımlar

Test Çıktılarına Körlemesine Güvenmeyin: Bir kodun çözücüden veya test paketinden geçmesi mantığın doğruluğunu kanıtlamaz; VPU açığına karşı anlamsal referans eşdeğerliğini denetleyen ödül modelleri kurulmalıdır.
Test-Zamanı Hesaplama Dağıtımı: Otonom ajan mimarilerinde GenV gibi referanssız ödül modelleri, akıl yürütme süreçlerinde kaynakların doğru patikalara yönlendirilmesini sağlayarak hata payını düşürür.
Mekanistik Yorumlanabilirlik Güvencesi: Seyrek otokodlayıcıların koddaki hata koordinatlarını tespit edebilmesi, karmaşık akıl yürütme zincirlerinde hata ayıklama ve denetlenebilirlik açısından geliştiricilere pratik avantaj sağlar.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.