Eğitim Sonrası (Posttraining) İçin Ortak Bir Veri Havuzu Yok

Ön Eğitim (Pretraining) Verilerindeki Büyük Şansımız#

Büyük dil modellerini (LLM) eğitmek devasa bir metin bütünü gerektiriyordu ve insanlık son 50 yıldır bilgisini dijitalleştirerek bu hazineyi hazır hale getirmişti. Bu ortak bilgi havuzunu oluşturan temel kaynaklar şunlardır:

• Wikipedia: İnsanlığın ürettiği en kapsamlı ansiklopedi.
• Açık Kaynak Hareketi: Petabaytlarca yazılım kaynak kodu.
• Stack Exchange: On yılı aşkın süredir tartışılan ve özenle seçilen soru-cevaplar.
• ArXiv ve Project Gutenberg: Bilimsel makaleler ve telif hakkı sona ermiş kitapların dijital sürümleri.
• Common Crawl: 2007'den beri internetin önemli bir bölümünü arşivleyerek herkesin erişimine açan yaklaşık 10 petabaytlık veri kaynağı.

Bu devasa ortak bilgi havuzu, LLM devriminin temelini oluşturdu. Örneğin GPT-3 yaklaşık %60 oranında Common Crawl tabanlı verilerle eğitilirken, orijinal Llama veri karışımı neredeyse tamamen internet ortak havuzundan çıkarıldı.

Ham Web Verisini İşlemenin Zorlukları ve Açık Modeller#

Web sayfalarını LLM'lere hazır parçalara dönüştürmek hiç de kolay değildi. İnternetin büyük bir kısmı arama motoru botlarını kandırmaya yönelik spam ve çöplerden oluşur. Araştırmacılar hâlâ şu konularda makaleler yazmaktadır:

• Veri filtreleme ve temizleme,
• HTML'den metne dönüştürme (extraction),
• Eski belgeler için optik karakter tanıma (OCR) ve sentetik yeniden yazım.

Büyük teknoloji oyuncuları kendi özel web tarayıcılarına geçmiş olsa da (Cloudflare, tarayıcı trafiğinin yarısından fazlasının yapay zeka için olduğunu bildiriyor), Nemotron gibi modern açık LLM'ler ön eğitim verilerinin büyük çoğunluğu için hâlâ bu ortak havuza güvenmektedir. Bu havuza erişim olmadan gerçek anlamda açık LLM'ler var olamaz.

Eğitim Sonrası (Posttraining) ve Görevlerin Doğası#

Günümüzde öncü yapay zeka araştırmalarının odağı, özellikle "ajan" (agentic) yapay zeka ile birlikte eğitim sonrası (posttraining) aşamasına kaydı. Ön eğitim gibi bu aşama da devasa hesaplama gücü ve veri gerektirir; ancak ortada hazır bekleyen bir ham veri hazinesi yoktur. Kısacası, eğitim sonrası için ortak bir veri havuzu (data commons) bulunmamaktadır.

Temel fark oldukça basittir: Ön eğitim belgeleri tüketirken, eğitim sonrası görevleri (tasks) tüketir.

Pekiştirmeli öğrenme (reinforcement learning) tarafından eğitim sonrasında kullanılan görevler birer soyutlamadır ve insanların gerçek dünyada yaptığı görevlerle aynı değildir. İnsan görevleri belirli bir ana özgüdür: biri bir şey ister, harekete geçer, dünya tepki verir, öğrendikçe hedef değişir ve sonunda başarılı olur, başarısız olur veya hedefini değiştirir. Görev bir kez denendiğinde kaybolur ve aynı koşullar bir daha asla tam olarak oluşmaz. Bu yönüyle insan görevleri sözlü kültürü yansıtır; sözlü bir hikaye bir nesne olduğu kadar bir olaydır.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

Ajan tabanlı sistemler ve LLM uygulamaları geliştiren mühendisler için bu makaleden çıkarılabilecek kritik dersler şunlardır:

• Özel Değerlendirme ve Görev Setleri Oluşturun: İnternette hazır bir görev havuzu olmadığı için, geliştirdiğiniz ajanların başarısını ölçmek adına kendi Golden Dataset ve görev simülasyon ortamlarınızı inşa etmelisiniz.
• Gerçek Dünya Etkileşimlerini İzleyin: İnsan görevleri dinamik ve tek seferliktir. Üretim ortamındaki ajanların adım adım nasıl karar verdiğini ve hedeflerin nasıl değiştiğini anlamak için LLM Observability ve izleme süreçlerini merkeze alın.
• Sentetik Görev Üretimine Yatırım Yapın: Model ince ayarı (fine-tuning) veya ajan optimizasyonu yaparken statik metinler yerine, araç çağrıları (tool calling) ve çok adımlı problem çözme senaryoları içeren görev odaklı veriler üretmeye odaklanın.