LLM'ler Tek Seçenek Değil: JEPA, Kavram Modelleri ve Karar Modellerine Giriş

Geçen hafta bir ekip arkadaşıma "Derleme (build) başarılı mı?" diye sorduğumda bana dört paragraflık bir yanıt verdi. Bağlam, CI/CD hattının geçmişi ve kararsız testler üzerine felsefi bir yorum vardı; "evet" cevabı ise üçüncü paragrafın ortasında gizliydi. Bugün Büyük Dil Modellerini (LLM) tam olarak böyle kullanıyoruz. Harika metin yazan bir makinemiz var ama ona cevabı tek kelime olan sorular soruyoruz. Bu rehber, ardışık token üretmekten farklı çalışan alternatif mimarilere (kavram modelleri, JEPA, difüzyon dil modelleri ve karar modelleri) odaklanıyor.

"Sonraki Token Tahmini" (Next-Token Prediction) Nedir?#

Telefon klavyenizin siz yazarken sonraki kelimeyi önermesi gibi, bir LLM de milyarlarca parametreyle aynı işi yapar. Şimdiye kadar yazılanları okur, en olası sonraki parçayı (token) tahmin eder ve bu döngüyü tekrarlar. 500 kelimelik bir yanıt, arka arkaya yapılan yaklaşık 700 küçük tahmindir. Bu yaklaşım sohbet botları ve kodlama asistanları için harika çalışsa da yazılım geliştirme açısından üç temel kısıta sahiptir:

• Tasarımı gereği yavaştır: Ağ üzerinden her geçişte tek bir token üretilir; uzun yanıtlar uzun kuyruklar demektir.
• En küçük birimde düşünür: Bir tatili harf harf planlamaya çalıştığınızı hayal edin; plaja asla varamazsınız.
• Her zaman düz metin yazar: Kodunuz sadece true veya false beklediğinde bile size paragraflar döner ve yanıtı ayıklamak için ekstra ayrıştırıcı (parser) yazmanız gerekir.

Aşağıdaki alternatif yaklaşımların her biri bu kısıtlardan birini hedefler.

1. Büyük Kavram Modelleri (Large Concept Models): Cümlelerle Düşünmek#

Hikaye: İyi bir aşçı yemeği harf harf tarif etmez; zihnindeki tarif "sosu hazırla, malzemeyi ekle, kısık ateşte pişir" gibi bütünsel fikir adımlarından oluşur. Kelimeler sonradan gelir ve mutfaktaki kişiye göre farklı dillerde ifade edilebilir.

Fikir: Meta tarafından Aralık 2024'te yayımlanan Large Concept Models (LCM), sonraki token yerine sonraki kavramı (tek bir vektöre sıkıştırılmış cümleyi) tahmin eder. Süreç üç adımda işler:

• SONAR adlı kodlayıcı (encoder) her cümleyi bir vektöre dönüştürür.
• Kavram modeli mevcut vektörlere bakarak bir sonraki vektörü tahmin eder.
• Kod çözücü (decoder) bu vektörü tekrar kelimelere çevirir.

Vektör herhangi bir dile ait değildir. SONAR metin için yaklaşık 200 dili kapsadığından, tahmin edilen aynı fikir modeli tekrar çalıştırmadan İngilizce, İspanyolca veya Türkçeye çevrilebilir.

Avantajları:

• İnsanların yazmadan önce taslak çıkarmasına benzer şekilde, fikirler düzeyinde planlama yapar.
• Yapısı gereği dilden bağımsızdır; düşük kaynaklı diller bu mimariden doğrudan faydalanır.
• Her cümle tek bir adım olduğu için uzun dokümanlar çok daha kısa dizilere dönüşür.

Kısıtlar ve Geliştirici Çıkarımı: Bu henüz uygulamanızdan API ile çağırabileceğiniz bir ürün değil, araştırma aşamasındadır. Cümle vektörleri kırılgan olabilir (küçük bir sapma farklı bir cümleye dönüşebilir) ve çok kısa metinlerde standart bir LLM hâlâ daha ekonomiktir. Yine de çok dilli sistemler ve uzun doküman işleme mimarileri tasarlayan geliştiriciler için geleceğin yönünü göstermektedir.

2. JEPA: Pikselleri Değil, Anlamı Tahmin Etmek#

Hikaye: Kalabalık bir caddede karşıya geçerken yaklaşan bir aracı gördüğünüzde, beyniniz "bu araç iki saniye içinde burada olacak" tahminini yapar. Ön camdaki tozların desenini veya yol kenarındaki ağacın yapraklarının nasıl sallanacağını tek tek hesaplamaz; aksi takdirde kaldırımda donup kalırdınız.

Fikir ve Geliştirici Çıkarımı: JEPA mimarisi, yüzeysel detayları veya pikselleri tek tek yeniden üretmek yerine doğrudan soyut anlam uzayında tahmin yürütür. Yazılım mühendisliği perspektifinden bakıldığında, her problemi metin üreten bir LLM ile çözmeye çalışmak yerine görev odaklı Modeller: Hangisi, Ne Zaman? sorusunu sormak ve doğru mimariyi seçmek sistem verimliliğini doğrudan artıracaktır.