GLM-5.3-Flash Modelini Jev Benzeri Bir Karar Modeline Dönüştürmek

TL;DR

Privatemode üzerinde çalışan hazır (off-the-shelf) GLM-5.3-Flash modeliyle, tek bir ileri geçişte (single forward pass) tiplenmiş kararlar ve her seçenek için kesin olasılık dağılımı elde etmek mümkündür. Bu yaklaşım; TypeSafe'in Jev modeli gibi özel Sistem 1 (System One) karar modellerinin sunduğu doğruluk ve hız seviyesine standart bir LLM ile ulaşılmasını sağlar. Üstelik GLM-5.3-Flash, çok modlu yapısı sayesinde Jev'in aksine görseller üzerinde de tiplenmiş kararlar alabilmektedir.

Neden Tiplenmiş Kararlar?

Yazılım sistemlerinde LLM'lere yöneltilen taleplerin önemli bir bölümü aslında birer karardır: "Bu destek biletini hangi ekip ele almalı?" veya "Bu sözleşme maddesi sorumluluk bölümüne mi ait?".

Yazılımlar genellikle model çıktısının JSON formatında ve "evet/hayır" gibi önceden tanımlanmış bir kümeden gelmesini şart koşar. Standart LLM yaklaşımlarında bu gereksinim hız ve maliyet darboğazlarına yol açar:

Yüksek Gecikme ve Token Maliyeti: Her karar için tüm bir JSON nesnesinin üretilmesi gerekir; hatta akıl yürütme (reasoning) modelleri çıktı öncesinde yüzlerce token boyunca düşünebilir.
Güven Eksikliği: Açıkça talep edilmedikçe modelin tahminine dair güven skoru (olasılık) öğrenilemez. Bu etkenler, yüksek verimli ve yüksek hacimli (high-throughput) üretim senaryolarında LLM kullanımını sınırlar.

Jev ve Laya gibi özelleştirilmiş karar modelleri bu problemi çözmek için tasarlanmıştır: Durumu ve adlandırılmış seçenekleri iletirsiniz, sistem seçilen opsiyonu her seçeneğin olasılık değeriyle birlikte anında döndürür.

Bir LLM'i Karar Modeline Dönüştürmek

LLM'ler metni doğrudan yazmaz; prompt verildiğinde kelime dağarcığındaki (vocabulary) tüm token'lar üzerinde bir olasılık dağılımı üretir. Standart metin üretiminde en yüksek olasılıklı token seçilip girdiye eklenir ve işlem tekrarlanır.

Şeması önceden bilinen bir JSON nesnesini modele baştan sona yazdırmak gereksizdir; asıl ihtiyaç duyulan modelin tiplenmiş nihai yargısıdır. Özel olarak eğitilmiş modellerin aksine, hazır bir LLM'i ince ayar (fine-tuning) yapmadan tek bir çalıştırmada karar modeline dönüştürmek iki adımla mümkündür:

Seçenekleri Numaralandırma (Number the options): Durum bilgisi, soru ve çıktı seçenekleri her opsiyona bir dizin (index) atanarak JSON formatında prompt'a eklenir. Talimat, modelin yalnızca choice_index: ve ardından gelen dizin numarasıyla yanıt vermesini ister.
Yanıtı Önceden Doldurma (Prefill the answer): Prompt doğrudan choice_index: dizesi ile sonlandırılır. Böylece modelin üreteceği ilk token seçilen opsiyonun indeksi olur ve ilk adımın olasılık dağılımından tüm seçeneklerin güven puanları anında elde edilir.

Geliştiriciler İçin Pratik Çıkarımlar

Ultra Düşük Gecikme ve Sıfır Parse Hatası: Tüm JSON gövdesi yerine tek bir token üretmek gecikmeyi milisaniyelere çekerken şema bozulma ve JSON parse hatalarını tamamen engeller.
Olasılık Tabanlı Güven Eşiği: İlk token'ın logprob değerleri üzerinden hesaplanan olasılıklar sayesinde, modelin güven oranı belirlenen eşiğin altında kaldığında talep otomatik olarak insan denetimine aktarılabilir.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Structured Output ve JSON Modu modülüne göz atın.