Hint Dilleri Ön Eğitimini Ölçeklendirme: 2,8 Trilyon Token ve Açık Veri Üretim Hattı

Büyük dil modellerinin (LLM) İngilizce dışındaki dillerde yüksek performans göstermesi, modern yazılım ve yapay zeka mühendisliğinin en kritik zorluklarından biridir. NVIDIA, IIT Madras ve bünyesindeki AI4Bharat araştırma laboratuvarı iş birliğiyle geliştirilen Nemotron-pretraining-Indic-v1 veri kümesi, bu veri açığını kapatmak için devasa bir adım atıyor. Hindistan Anayasası'nda yer alan ve nüfusun %97'sinin (yaklaşık 1,2 milyar insanın) ana dili olan 22 Hint dilini kapsayan bu çalışma, yaklaşık 2,8 trilyon token büyüklüğünde dev bir ön eğitim kaynağı ve bu veriyi üretmek için kullanılan açık kaynaklı, GPU hızlandırmalı veri üretim hattını (pipeline) geliştiricilere sunuyor.

Açık Kaynaklı Sentetik Veri ve Kalite Güvencesi#

AI4Bharat yöneticisi Mitesh Khapra'nın da vurguladığı gibi, yerel dil teknolojilerinin İngilizcenin gerisinde kalmasının temel nedeni yeterli eğitim verisinin bulunmamasıdır. Daha önce Sangraha gibi açık veri kümeleriyle bu alana temel oluşturan AI4Bharat ve NVIDIA, bu yeni ortak çalışmayla topluluğa sunulan sentetik eğitim verisini önemli ölçüde genişletiyor.

Bu sürüm, özenle seçilmiş İngilizce materyalleri Hint dillerine kazandırarak modellere teknik kavramları açıklama ve problem çözme yeteneği aşılıyor:

• Teknik İçerik Çeşitliliği: Matematik, yazılım kodu ve soru-cevap içeriklerini yerel dillere taşır.
• Kaynak İzlenebilirliği ve Doğruluk: Üretilen her sentetik kayıt, doğrulanmış bir kaynak belgeye dayanır ve çıktılar girdilerle karşılaştırılarak bilgilerin gerçekliğe bağlı kalması sağlanır.
• Yeniden Kullanılabilir Üretim Reçetesi: Veri üretim hattı; kullanılan istemleri (prompts), LLM iş akışlarını ve kalite kontrol adımlarını tamamen açık olarak sunar.

Çoklu Alfabe Desteği ve Onarım İş Akışları#

Veri kümesi, kullanıcıların günlük hayatta gerçekte nasıl yazdığını da dikkate alarak 34 farklı dil-alfabe konfigürasyonunu kapsar:

• Yerel ve Latin Alfabeleri: 22 dilin tamamı için yerel alfabe (native-script) verisi sunarken, 12 dil için de Latin harfleriyle yazılmış (romanized) metinler içerir.
• Yapısal Bütünlük ve Hedefli Onarım: Belge düzeyinde çeviri, kalite değerlendirmesi ve hedefli onarım (targeted repair) süreçlerini birleştiren iş akışları; matematiksel denklemler, tablolar ve kod blokları gibi yapıların bozulmadan korunmasını garanti eder.
• Doğal Veriyi Tamamlayıcı Yapı: Kültürel bağlam ve yerel bilgi için vazgeçilmez olan doğal metinleri, yüksek kaliteli sentetik verilerle tamamlar.

Yazılım Geliştiriciler ve AI Mühendisleri İçin Pratik Çıkarımlar#

Edumints platformunda LLM geliştiren mühendisler için bu çalışma, sadece bir veri kümesi değil, aynı zamanda uçtan uca bir veri mühendisliği mimarisidir:

• Kendi Veri Hattınızı Kurun: Paylaşılan açık üretim reçetesini, istemleri ve kalite kontrol mekanizmalarını Türkçe dahil kendi hedef dilinize ve alanınıza (domain) uyarlayarak özel sentetik veri kümeleri üretebilirsiniz.
• Kod ve Matematik Koruması: Çeviri tabanlı veri üretiminde kod bloklarını ve denklemleri koruyan doğrulama adımlarını kendi RAG veya ince ayar (fine-tuning) veri hazırlama süreçlerinize entegre edebilirsiniz.
• Kalite Değerlendirme ve Onarım: Üretilen veriyi doğrudan modele vermek yerine, LLM tabanlı kalite değerlendirme ve hatalı kısımları onarma (repair) aşamalarını pipeline mimarinize ekleyerek halüsinasyonları en baştan önleyebilirsiniz.