Dil Modellerini Bayt Düzeyinde Çalışacak Şekilde Yeniden Uyarlama

Özet#

Yapay zekâ (YZ) alanındaki son gelişmeler, büyük ölçüde belirteç (token) adı verilen ayrık birimler üzerinde işlem yapan derin yapay sinir ağları, yani büyük dil modelleri (LLM'ler) tarafından şekillendirilmektedir. Günümüzdeki modellerin büyük çoğunluğu metinleri temsil etmek için kelimeleri veya kelime parçalarını temel alan alt kelime belirteçleme (subword tokenization) yöntemini tercih etmektedir. Ne var ki alt kelime belirteçleme yaklaşımı, metin içerisindeki ayrıntılı ve ince taneli bilgileri gizlemektedir. Bu durum özellikle anlamın tekil karakterlere veya doğrudan baytlara bağlı olduğu bilgisayar kodları ve biyolojik dizilimler gibi bilimsel verilerde ciddi kısıtlılıklara yol açmaktadır.

Metinlerin doğrudan ham bayt kodlaması üzerinden çalışan modeller bu darboğazları aşma potansiyeline sahip olsa da bugüne kadar başarım açısından alt kelime tabanlı modellerin gerisinde kalmıştır. Araştırmada sunulan baytlaştırma (byteification) yöntemi, alt kelime tabanlı sistemlerin yeteneklerine yaklaşan genel bir bayt düzeyinde dil modeli oluşturma yaklaşımı getirmektedir. Çalışmada, mevcut modelleri asgari düzeyde ek eğitimle bayt seviyesine uyarlayan iki aşamalı bir dönüştürme prosedürü kullanılmaktadır. Ortaya çıkan modeller; önceki bayt yaklaşımlarını geride bırakmakta, karakter düzeyindeki akıl yürütme görevlerinde üstünlük sergilemekte, bayt bilgilerini verimli işleyerek pratik çıkarım hızlarına ulaşmakta ve kaynak dil modelinin mevcut ekosistemini yeniden kullanarak güçlü bir adaptasyon sağlamaktadır. Bu sonuçlar, ham metin kodlamalarıyla çalışan modellerin rekabetçi biçimde ölçeklenebileceğini ve ayrıntılı metin kavrayışı gerektiren alanlarda büyük avantajlar sunduğunu kanıtlamaktadır.

Belirteçlemenin Sınırları ve Temel Sorunlar#

Modern yapay zekâ sistemleri temsilleri doğrudan ham veriden öğrenen uçtan uca mimarilere dayanır. Ancak mevcut LLM'ler tam anlamıyla uçtan uca değildir:

• Ayrık Birim Zorunluluğu: Öğrenme süreci başlamadan önce metinlerin mutlaka belirteç (token) dizilerine dönüştürülmesi gerekmektedir.
• Temsil ve Davranış Biçimlenmesi: Belirteç seçimi, modelin öğrendiği iç temsilleri ve sergilediği davranışları kökten şekillendirir.
• Karakter Düzeyinde Körlük: Alt kelime tokenizasyonu kullanan modeller karakter düzeyinde kavrayış eksikliği yaşamakta; bu da bilimsel veri ve kod analizinde performansı düşürmektedir.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

Bu mimari dönüşüm, yazılım geliştiriciler ve yapay zekâ mühendisleri için önemli kazanımlar sunar:

• Kod Analizinde Yüksek Hassasiyet: Kod geliştirmede tek bir karakter veya sembol kritik öneme sahiptir. Bayt düzeyindeki modeller, belirteç bölünmelerinden kaynaklanan semantik kayıpları önleyerek kod ve sözdizimi kavrayışını güçlendirir.
• Ekonomik Yeniden Uyarlama (Retrofitting): Sıfırdan devasa kaynaklarla bayt modeli eğitmek yerine, mevcut alt kelime modellerini iki aşamalı dönüşümle uyarlamak eğitim maliyetini ve süresini asgariye indirir.
• Ekosistem Uyumluluğu: Kaynak LLM'in çevresindeki araç, kütüphane ve çıkarım altyapılarının yeniden kullanılabilmesi, geliştiricilerin bu mimariyi mevcut sistemlere hızla entegre etmesini sağlar.
• Pratik Çıkarım (Inference) Hızı: Bayt dizilerinin uzunluğundan kaynaklanan geleneksel işlem yükü optimize edilmiş, üretim ortamı için gerçekçi çıkarım hızları elde edilmiştir.