MemFold: İlke-İçi Optimizasyon ile Uzun Bağlamlı Kişiselleştirme İçin Kompakt Yumuşak Bellek

Uzun Dönemli Kişiselleştirme ve Bellek Çıkmazı#

Aynı kullanıcıya uzun süre hizmet veren bir yapay zekâ asistanı, kullanıcının zaman içinde paylaştığı verileri temel alarak yanıt üretmelidir: Hangi tercihler hâlâ geçerli, hangileri güncellendi ve şu an hangi kısıtlamalar uygulanıyor? Ancak bilgiyi hafızada tutmak ile bu bilgi doğrultusunda doğru eylemi sergilemek aynı şey değildir; mevcut sistemler çoğunlukla bu iki süreci farksızmış gibi optimize eder.

Mevcut yaklaşımların temel kısıtları şunlardır:

• Metin Belleği Şişmesi: Bilgiyi salt metin olarak saklamak, sohbet geçmişi uzadıkça okuyucu modelin girdi bağlamını aşırı derecede büyütür.
• Temsil Uyuşmazlığı: Geçmişi sabit sayıda gizil vektöre (latent vector) sıkıştırmak arayüzü sınırlandırır; ancak bu vektörler genellikle metin yeniden inşası veya referans yanıtları taklit etmek üzere eğitilir. Bu durum, okuyucunun asla kendi üretmediği diziler üzerinden puanlanmasına yol açar.

MemFold Mimarisi ve İlke-İçi Optimizasyon#

MemFold, sabit bütçeli bir "yumuşak bellek" (soft memory) yapısını, doğrudan desteklediği davranış kalitesine göre optimize eder:

• Sürekli Bellek Arayüzü: Sorguya göre koşullandırılmış metinsel bellek, okuyucu modelin bellek arayüzünü oluşturan K adet sürekli vektöre sıkıştırılır.
• İki Tamamlayıcı Eğitim Sinyali: Model, kendi üretimleri (rollouts) üzerinde hem görev çıktılarına dayalı grup-göreceli ödüllerle (group-relative rewards) hem de güven eşikli ilke-içi damıtma (confidence-gated on-policy distillation) ile eğitilir.
• Dondurulmuş Öğretmen: Dondurulmuş bir metin belleği öğretmeni, öğrencinin örneklediği token'ları metinsel bellek bağlamında yeniden puanlar. Öğretmenden asla doğrudan örnekleme yapılmaz; böylece denetim öğrencinin güncel dağılımında kalır ve otoregresif kod çözme ek yükü getirmez.
• Çıkarım Sırasında Sıfır Maliyet: Çıkarım (inference) aşamasında öğretmen model tamamen devreden çıkarılır.

Başarım ve Değerlendirme#

Üç farklı Qwen omurgası üzerinde test edilen MemFold, şu sonuçları elde etmiştir:

• PersonaMem-32K ve PersonaMem-128K testlerinde en yüksek doğruluğa ulaşmış; geçmiş uzadıkça performans farkı daha da açılmıştır.
• Hedef alana özel eğitim gerektirmeden PrefEval ve LongMemEval kıyaslamalarına başarıyla transfer olmuştur.
• Ablasyon analizleri, görev kazanımının büyük kısmının ödül teriminden, ek katkının ise öğretmen sinyalinden geldiğini; müdahale testleri ise okuyucunun doğrudan yumuşak belleğin içeriğine bağımlı olduğunu kanıtlamıştır.

Yazılım Geliştirme ve Öğrenme İçin Pratik Çıkarımlar#

• Maliyet ve Gecikme Yönetimi: Üretim ortamında devasa bağlam pencerelerini metin olarak taşımak yerine, bilgiyi sabit boyutlu soft bellek vektörlerine sıkıştırmak token maliyetlerini ve ilk token gecikmesini (TTFT) ciddi oranda düşürür.
• Davranış Odaklı Bellek Hizalaması: Bellek modüllerini klasik dil modelleme kaybı (reconstruction) yerine, ajanın gerçek kararlarını ödüllendiren ilke-içi (on-policy) RL ile eğitmek çok daha tutarlı kişiselleştirme sağlar.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.