Modaliteler Arasında Bağlam İçi Öğrenmenin Yakınsak Ortaya Çıkışı

Giriş: Bağlam İçi Öğrenme Alanlar Arasında Nasıl Ortaya Çıkıyor?

Az örnekli bağlam içi öğrenme (Few-Shot In-Context Learning - ICL), bir modelin istem (prompt) içinde sunulan girdi-çıktı örneklerinden soyut örüntüleri sezmesi ve bu kuralları daha önce karşılaşmadığı yeni girdilere başarıyla uygulaması kabiliyetidir. Bu temel yetenek, insan metinleri üzerinde bir sonraki belirteci tahmin etme (next-token prediction) amacıyla eğitilen büyük dil modellerinde (LLM) uzun süredir kapsamlı biçimde incelenmektedir. Son dönemde otoregresif genom modellerinde de benzer bir bağlam içi öğrenme yeteneğinin varlığının kanıtlanması, yapay zekâ mühendisliği dünyasında kritik bir soruyu gündeme getirmiştir: ICL genel olarak farklı disiplin ve alanlarda da kendiliğinden ortaya çıkıyor mu? Eğer ortaya çıkıyorsa, bu farklı alanlar arasında paylaşılan ortak bir yapı var mıdır?

Yakınsak Ortaya Çıkış Hipotezi ve Çapraz-Modalite Bulguları

Araştırmacılar bu iki soruya yanıt bulabilmek amacıyla, aynı görev paketini farklı modalitelerde kurgulayan kontrollü bir çapraz-modalite çerçevesi geliştirmiştir. Bu çerçeve ile Yakınsak Ortaya Çıkış Hipotezi (Convergent Emergence Hypothesis) doğrudan test edilmiştir. Hipotez özetle şunu savunur: Few-shot ICL ortaya çıktığında, modaliteler arasında ortak bir zorluk profilini paylaşır; yani bir modalitede ICL sayesinde performansı artan görevler, diğer modalitelerde de benzer şekilde fayda sağlama eğilimindedir.

Araştırma kapsamında eşleştirilmiş haritalama (paired-mapping) ICL yeteneğinin şu altı farklı modalitede ortaya çıktığı test edilmiş ve doğrulanmıştır:

Dil (Language): Metin tabanlı semantik ve mantıksal eşlemeler.
Genom (Genome): Nükleotit dizilimleri ve genetik sekans ilişkileri.
Tamsayı Dizileri (Integer Sequences): Sayı dizilerindeki matematiksel kural ve örüntüler.
Zaman Serileri (Time Series): Zamansal verilerdeki dönemsel dalgalanmalar ve trendler.
Görüntüler (Images): Piksel tabanlı görsel temsiller ve dönüşüm ilişkileri.
Proteinler (Proteins): Amino asit dizilimlerindeki biyokimyasal örüntüler.

Elde edilen sonuçlar, eşleştirilmiş haritalama ICL'in bu altı modalitenin tamamında ortaya çıktığını ve kontrollü temel referans modellerini (baselines) geride bıraktığını göstermiştir. Dahası, incelenen altı modalitenin beşinde görev bazlı kazanımların birbiriyle doğrudan ilişkili (korele) olduğu saptanmıştır. Bu bulgular, Yakınsak Ortaya Çıkış Hipotezi'nin modalitelerin tamamında olmasa da büyük bir kısmında geçerli olduğunu güçlü biçimde desteklemektedir.

Yazılım Geliştirme Açısından Pratik Çıkarımlar ve Öğrenme Notları

Çapraz-Modalite Prompt Tasarımı: ICL sadece doğal dile özgü bir özellik değildir. Otoregresif mimariler zaman serisi, finansal loglar veya sayısal telemetri verilerinde de girdi-çıktı çiftleriyle eğitimsiz (in-context) yönlendirilebilir.
Zorluk Profilinin Tutarlılığı: Bir soyut mantık görevi dil modellerinde ICL ile çözülemiyorsa, büyük ihtimalle zaman serisi veya protein modellerinde de benzer şekilde tıkanacaktır. Görev mimarilerinizi tasarlarken bu zorluk dengesini hesaba katmalısınız.
Maliyet ve İnce Ayar Optimizasyonu: Yeni bir veri tipinde karmaşık modelleri doğrudan fine-tune etmek yerine, otoregresif temel modeller üzerinde ICL ile hızlı fizibilite testleri gerçekleştirebilirsiniz.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.14011)

Bu konuyu derinlemesine öğrenmek isterseniz: Temel Prompt Teknikleri modülüne göz atın.