Uyku Çerçevesi (Sleep Framework): Sürekli Öğrenmede LLM'lerin Bilgiyi Koruması İçin Yeni Bir Yöntem

Google Research araştırmacıları Ali Behrouz ve Vahab Mirrokni tarafından tanıtılan uyku çerçevesi (sleep framework), büyük dil modellerinin (LLM) sürekli öğrenme sürecinde yeni bilgileri entegre etmesini ve akıl yürütme yeteneklerini geliştirmesini sağlıyor. Üstelik bunu yaparken ** yıkıcı unutma (catastrophic forgetting)** sorununu ve statik bilgi kesim noktası (knowledge cutoff) sınırlarını ortadan kaldırıyor.

Modern LLM'ler ön eğitim (pre-training) ve bağlam içi öğrenme (ICL) ile etkileyici bir performans sergilese de, canlı ortama (production) alındıktan sonra büyük ölçüde statik kalırlar. Yeni verilerle sürekli parametre güncellemesi yapmak akla ilk gelen çözüm olsa da, bu durum modelin yeni görevleri öğrenirken eski bildiklerini kaybetmesine yol açar. Sadece bağlam içi öğrenmeye (ICL) güvenmek ise bilgiyi anlık bağlam penceresiyle sınırlar; oturum kapandığında öğrenilen kısa süreli bilgiler kaybolur.

İnsan beyninin dinlenme sırasında hafızayı nasıl işlediğinden ve sabitlediğinden ilham alan bu yaklaşım, LLM'lere periyodik bir yaşam döngüsü kazandırır. Aktif etkileşim ve çevrimdışı hafıza pekiştirme arasında geçiş yapan modeller, yeni gerçekleri sürekli öğrenebilir, 10 milyon token'a kadar uzun bağlamlı bilgiyi koruyabilir ve karmaşık akıl yürütme süreçlerini iyileştirebilir.

Makine Öğrenimini Yeniden Düşünmek: Aktif (Uyanık) ve Uyku Evreleri#

Geleneksel makine öğrenimi, eğitim (training) ve çıkarım (inference) arasında katı bir ayrıma dayanır. Ancak sürekli öğrenen zeki bir ajan için bu ayrım yapaydır. Uyku paradigması altında bir LLM iki temel durumda çalışır:

• Aktif (uyanık) evre: Model girdileri aktif olarak alır, işler, etkileşime girer ve geçici bilgileri hızlı, kısa süreli hafıza bileşenlerinde saklar.
• Uyku evresi: Model yeni girdi işlemeyi duraklatır ve iç hesaplamalarını hafıza pekiştirme ile kendi kendini geliştirmeye yönlendirir.

Çevrimdışı uyku evresinde model, önceden tahsis edilmiş Uzmanların Karışımı (Mixture-of-Experts - MoE) hafıza bloklarının kilidini açar ve kendi ürettiği pratik örnekleri kullanarak sayısal ağırlıklarını günceller. Yazılım geliştirme ve MLOps açısından bu mimari büyük bir pratik çıkarım sunar: Temel kod tabanını ve mimari tasarımı değiştirmeden, canlıdaki bir modelin otomatik bir eğitim sonrası (post-training) döngüsüyle yeni bilgileri özümsemesi ve akıl yürütme doğruluğunu keskinleştirmesi mümkün hale gelir.

Uyku Sürecinin Temel Bileşenleri#

Uyku paradigması, yıkıcı unutmayı ve sürekli adaptasyonu iki aşama üzerinden ele alır: hafıza pekiştirme (memory consolidation) ve rüya görme (dreaming).

1. Hafıza Pekiştirme (Memory Consolidation)#

İnsan beyninde NREM yavaş dalga uykusu, kırılgan anıları soyutlama ve damıtma yoluyla uzun süreli yapılara dönüştürür. Önerilen uyku çerçevesi bu doğal olguyu şu temel teknik mekanizma ile yansıtır:

• Parametre genişletme ve sürekli hafıza hiyerarşisi: Yıkıcı unutmayı önlemek adına model, kapasitesini dinamik olarak ölçeklendirerek kırılgan kısa süreli bağlamı kararlı uzun süreli parametrelere aktarır. Geliştiriciler için bu, her yeni bilgi için devasa bağlam pencereleri (context window) taşıma maliyetini düşüren ve sistemi sürekli güncel tutan sürdürülebilir bir model yaşam döngüsü demektir.