PrismaCoder: Ayrıştırılmış Rubrik Sentezi ile Açık Çok Modlu Kod Zekasının Sınırlarını Zorlamak

Sembolik Kod Dünyası ile Görsel Çıktıların Buluşması#

Çok modlu kod zekası (multimodal code intelligence), programların sembolik dünyasını, bu programların çalıştırılmasıyla ortaya çıkan görsel dünyayla birleştirir. Modellerden grafikler, web sayfaları, animasyonlar ve yarı yapılandırılmış belgeler üretmelerinin giderek daha fazla istenmesiyle bu yeteneğe olan ilgi hızla artmaktadır. Son dönemde kapalı kaynaklı (proprietary) modeller, yalnızca bir metin açıklamasından veya tek bir ekran görüntüsünden bile etkileşimli çıktılar üreterek oldukça ileri gitmiştir. Ancak bu modellerin eğitim verileri ve süreçleri kapalı kalmaya devam etmekte; açık kaynaklı ilerleme ise mevcut verilerin miktarı, kalitesi ve bunları üretmeye yönelik veri işleme hatlarının (pipeline) yetersizliği nedeniyle kısıtlanmaktadır.

Görsel Kod Üretiminde Kalite ve Doğrulama Zorluğu#

Veri miktarı ve kalitesi ikilisinden daha zor olanı kalitedir. Çünkü üretilen bir örneğin bir program olarak hatasız çalışması, iyi yapılandırılmış olması ve her şeyden önce ekranda işlendiğinde (render edildiğinde) görsel olarak doğru görünmesi gerekir. Mevcut hiçbir değerlendirme sinyali bu üç unsuru tek başına kapsayamaz:

• Çalıştırma (Execution) sonuçları: Genellikle yalnızca "geçti" veya "kaldı" bilgisi döndürür; görsel estetiği veya doğruluğu ölçmez.
• Kod benzerliği (Code similarity): Yazılan kodun referans koda benzemesi, görsel çıktının doğru olacağı anlamına gelmez.
• Göreve özgü doğrulayıcılar (Task-specific verifiers): Dar kapsamlıdır ve farklı görsel kodlama görevlerine genelleştirilemez.

PrismaForge ve Rubrik Tabanlı Veri Hattı#

Açık kaynaklı gelişimi daha ileriye taşımak adına, çalışmada veri tarafından başlanarak PrismaForge tanıtılmaktadır. PrismaForge, kalite faktörlerini kontrol edilebilir kriterlere ayıran sentezlenmiş bir rubrik (değerlendirme ölçeği) etrafında şekillenen hiyerarşik bir veri işleme hattıdır. Bu rubrik hem bir filtre hem de bir ödül mekanizması olarak çift yönlü görev yapar:

• İlk aşamada denetimli eğitim (supervised) veri derlemini temizler ve seçer.
• Ardından görsel kodlama görevlerinde pekiştirmeli öğrenmeyi (reinforcement learning) yönlendirir.

Veri sentezi ve filtreleme için PrismaForge kullanılarak, çok modlu kod zekası alanında bugüne kadarki en çeşitli ve en büyük açık veri seti olan PrismaCoder-2M oluşturulmuştur.

PrismaCoder Modelleri ve Yazılım Geliştirme İçin Pratik Çıkarımlar#

Model tarafında, bu veri seti üzerinde eğitilen PrismaCoder-9B ve PrismaCoder-35B modelleri açık kaynak olarak paylaşılmıştır. Bu modeller açık kaynak dünyasında mevcut en iyi sistemleri geniş bir farkla geride bırakmakta ve önde gelen kapalı sistemlerle rekabet etmektedir. Analizler, önerilen rubrik tabanlı veri hattının farklı model omurgalarında (backbones) çok modlu kodlama performansını artırdığını göstermektedir.

Mühendislik ve Öğrenme Açısından Pratik Çıkarımlar:

• Çok Boyutlu Değerlendirme (LLM-as-a-Judge): Görsel arayüz veya ön yüz (frontend) kodu üreten yapay zeka sistemlerini test ederken yalnızca birim testlerine (unit test) güvenmek yetersizdir. Karmaşık kalite hedeflerini, kontrol edilebilir alt kriterlere (rubriklere) bölmek doğrulama başarısını doğrudan artırır.
• Veri Merkezli Yapay Zeka: Devasa kapalı modellere yaklaşmanın anahtarı sadece model boyutunu büyütmek değil, PrismaForge örneğinde olduğu gibi hem eğitim verisini filtreleyen hem de pekiştirmeli öğrenmede ödül sinyali üreten tutarlı kalite rubrikleri tasarlamaktır.
• Açık Kaynak Alternatifleri: Web arayüzü, veri görselleştirme ve belge üretimi gibi görevlerde PrismaCoder-9B ve 35B gibi açık ağırlıklı modeller, maliyet ve veri gizliliği gerektiren kurumsal projelerde kapalı API'lere güçlü birer alternatiftir.

Kodlara ve veri setine https://qiushisun.github.io/PrismaCoder-Home/ adresinden erişilebilir.