Jev'de Sıfır Hataya Ulaştım Ama Hâlâ Flash-Lite Kullanıyorum

Jev, son dönemin en çok ilgi gören karar modellerinden biri. TypeSafe'in geliştirdiği bu model ne sohbet ediyor ne de metin üretiyor; yalnızca verilen metni ve seçenek listesini okuyup bu seçenekler üzerinde kalibre edilmiş olasılıklar döndürüyor. Birkaç yüz milisaniye sürüyor ve maliyeti neredeyse sıfır. Ancak üretim ortamında genellikle gözden kaçan başka bir model var: Gemini Flash-Lite. Hızlı, isabetli ve olağanüstü derecede ekonomik.

İki modeli binlerce kez çalıştırarak gerçek üretim verileri üzerinde karşılaştırdık. Jev harika bir karar modeli olsa da sistemimizde Flash-Lite yerini koruyor. İşte yazılım mühendisliği ve yapay zekâ mimarisi açısından bu tercihin nedenleri:

Kurulum ve Test Değerlendirmesi#

Hatalı bir kodun testten geçmesi (false green), hiç test olmamasından çok daha tehlikelidir. Test yoksa bilmediğinizi bilirsiniz; sahte bir yeşil ışıkta ise bozuk sistemi canlıya alırsınız. Major League Hacking (MLH) bünyesinde yapay zekâ kodlama ajanlarını, açık kaynaklı değerlendirme aracımız benchspec ile sınıyoruz. Bir ajanın yapması gerekenler Markdown dosyasında net kontroller olarak tanımlanır. Çalıştırma sonrasında bu kontroller şöyle görünür:

• ./.meta/index.md mevcut
• Tam olarak altı dosya ./.meta/templates/*.md ile eşleşiyor
• Özet, kaynaktaki üç temel gerçeği aslına sadık biçimde yansıtıyor

Her bir kontrol iki yöntemden biriyle doğrulanır:

• Ucuz kod: Dosya yolu var mı, glob ile kaç dosya eşleşti, regex deseni tuttu mu? Ücretsiz, anlık ve kesin.
• LLM Hakemi: Anlamı değerlendirmek için içeriği okur. Her çalıştırmada ek maliyet yaratır.

Buradaki yönlendiricinin (router) görevi, her kontrolü inceleyip bir denetleyiciye (file_exists, glob_count, regex) yönlendirmek ya da hakeme devretmektir.

İki Hata Türü ve Güven Dengesi#

Yönlendiricinin yapabileceği iki hata eşit sonuçlar doğurmaz:

• Kodun halledebileceği bir şeyi hakeme göndermek: Sadece birkaç sent kaybedersiniz.
• Kodun doğrulayamayacağı bir şeyi koda devretmek: Bozuk sonuç yeşil raporlanır, kimse fark etmez ve hatalı kod yayına çıkar. Güven kaybedersiniz.

Kaybedilen sentler geri kazanılır ancak kullanıcı güveni geri gelmez. Bu yüzden temel kuralımız nettir: Şüpheye düştüğünde hakeme devret.

Gizli Kahraman: Gemini Flash-Lite#

Üretimde fiilen çalıştırdığımız yönlendirici Gemini Flash-Lite. Google'ın yüksek hacimli ve gecikmeye duyarlı sınıflandırma işleri için geliştirdiği bu model; 1 milyon token'lık bağlam penceresi, saniyenin çok altındaki yanıt süresi ve 1 milyon girdi token'ı başına 0,30 dolarlık fiyatıyla öne çıkıyor. Aylık LLM çağrılarımızın %99'u Flash-Lite üzerinde koşuyor; çünkü iş yükümüz uzun girdi ve kısa çıktı formatında.

Ardından sahneye Jev çıktı: 1 milyon girdi token'ı için 0,042 dolar ve ücretsiz çıktı. Bir geliştirici için temel çıkarım, popüler olana doğrudan geçmek yerine mimarinin hata toleransına odaklanmaktır. Flash-Lite gibi çok yönlü hafif modeller ile Jev gibi uzmanlaşmış karar modellerini birlikte kurgulamak, en ucuz ve en güvenilir üretim mimarisini kurmanın anahtarıdır.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.