Jev vs Claude: Sınırlı Karar Mekanizmalarında Kim Kazanır?

Yapay zekâ ekosisteminde yeni bir modelin başarısını Claude, Kimi veya Qwen gibi devleri genel kıyaslamalarda (benchmark) geride bırakmasıyla ölçmek yaygın bir yaklaşımdır. Ancak üretim ortamında kritik olan asıl soru şudur: Hatalı bir onayın (false pass) ciddi sonuçlar doğurabileceği ve belirsizliğin süslü cümlelerle gizlenemeyeceği rutin bir karar mekanizmasında modele ne kadar güvenebiliriz? Bu deneysel çalışmada, serbest metin üretimi yerine sınırlı karar mimarisine odaklanan Jev ile genel amaçlı Claude Sonnet karşılaştırılıyor.

Asıl İhtiyaç Duyulan Karar

Yapay zekâ odaklı yazılım geliştirme süreçlerinde çoğu zaman her sorunun çözümünün büyük bir dil modelinden (LLM) gelmesi gerektiği varsayılır. Yazar, Arbitrum Open House London Buildathon jüri değerlendirme iş akışındaki Arbitrum Alignment doğrulama kapısı üzerinden bu varsayımı sorgulamaktadır:

Sınırlı Karar Alanı: Sistemin görevi serbest metin yazmak, beyin fırtınası yapmak ya da özet çıkarmak değildir; projeye dair toplanmış kanıt paketine dayanarak satisfied, not_satisfied veya insufficient_evidence durumlarından birini seçmektir.
Görev ve Model Uyumu: Kod analizi yapmak, uygulama kalitesini tartmak ve açıklama üretmek gibi aşamalar öncü LLM'lerin yeteneklerinden faydalanır. Ancak önceden belirlenmiş bir politikayı dar bir kanıt paketine uygulamak için devasa modelleri çalıştırmak kaynak israfıdır (overkill).

Kasıtlı Olarak Daraltılmış, Adil Bir Karşılaşma

Deney kapsamında 102 anonim proje başvurusu, aynı JSON kanıt paketi ve 4 adımlı karar prosedürüyle üçer kez çalıştırılarak toplam 306 karar üretildi. Süreç doğrudan Claude Sonnet ile kıyaslandı:

Sistem 1 Karar Modeli: TypeSafe, Jev'i serbest metin üreten jenerik bir dil modeli olarak değil, yapılandırılmış kararlar alan bir "Sistem 1" modeli olarak konumlandırır.
Karar Primitifleri: Model serbest nesir üretimi yerine Choice, Score ve Noul gibi ilkel yapılarla çalışır. İlgili görevde kullanılan Choice, önceden tanımlı durumlar arasından seçim yaparken kararla birlikte olasılık ve güven skorlarını da çıktı olarak sunar.
Doğrulama Odaklı İş Yükü: Modelden tüm depoyu okuması ya da jüri sürecinin tamamını yönetmesi değil, izole bir doğrulama kapısını işletmesi istendi. Sınırlandırılmış kararlar için geliştirilen bir modelin kendi uzmanlık sahasında test edilmesi son derece adil bir zemin sağladı.

Aynı Doğruluk Aralığı, Radikal Derecede Farklı Operasyonel Maliyet

Testin özeti oldukça nettir: Jev iddialarının arkasında durmayı başardı. Dört tanısal Noul ile desteklenen Jev Choice, Claude Sonnet ile aynı doğruluk bandını yakalarken operasyonel maliyet ve kaynak tüketimi tarafında radikal bir avantaj sağladı.

Yazılımcılar İçin Pratik Çıkarımlar

Doğru Mimari Ayrıştırma: Sisteminizdeki her karar kapısı için yüksek maliyetli frontier modelleri çağırmak yerine, sınıflandırma ve doğrulama adımlarını özel karar motorlarına devredin.
Deterministik Çıktılar ve Güven: Üretim aşamasında serbest metin tamamlama yerine olasılık ve güven skoru üreten primitifleri kullanmak, otomasyonlardaki halüsinasyon riskini en aza indirir.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.