Transformer Modelleri İçin Koşullu Saçsızlık Teoremi: Dil Modelleri İstemlerini Nasıl Unutur?

Giriş ve Problem Tanımı#

Otoregresif bir transformer modelinin, $t$ adet token ürettikten sonra başlangıçtaki isteminden (prompt) ne kadar bilgi koruduğu, modern yapay zeka uygulamaları için kritik bir sorudur. Araştırmacılar bu durumu ölçmek için iki farklı istemin ardından aynı devam metninin (continuation text) geldiği bir senaryoyu inceliyor. Böylece gizli durumlar (hidden states) arasındaki herhangi bir fark yalnızca başlangıç isteminden kaynaklanıyor. Bulgulara göre, gizli durumlar arasındaki mesafe yaklaşık olarak $t^{-\alpha}$ biçiminde bir kuvvet yasası (power law) ile azalıyor. Burada $\alpha=1$, sabit bir istemin tekdüze dikkat (uniform attention) payının küçülme oranını temsil ederken, daha küçük değerler daha uzun süreli bir belleğe işaret ediyor.

Eğitilmiş Modeller: İstem bilgisini hızlı bir şekilde unutuyor ($\alpha \approx 0.55 - 0.7$).
Eğitilmemiş Modeller: İstem bilgisini çok daha yavaş unutuyor ($\alpha \approx 0.2 - 0.5$).

Matematiksel Sınır ve Geometrik Mekanizma#

Araştırma, uzunluğu $P$ ve derinliği $L$ olan bir istem için bu sapmanın $O(P(\log t)^{L-1}/t)$ sınırında olduğunu kanıtlıyor. Bu sınır, sınırlı dikkat logitlerine sahip sonlu derinlikteki pre-LN softmax transformer mimarileri için, norm öncesi (pre-norm) aktivasyonların sıfırdan uzak kalması koşuluyla geçerliliğini koruyor.

Unutma mekanizması tamamen geometrik bir temele dayanıyor:

Seyrelme (Dilution): Bağlam (context) büyüdükçe istemin doğrudan etkisi giderek seyreliyor.
Aktarım (Relay): Devam tokenlarının, önceki tokenların istemden okuduklarını ileriye taşıması süreci yalnızca logaritmik faktörler ekleyebiliyor.

Koşullu Saçsızlık Teoremi (Conditional No-Hair Theorem)#

Araştırmacılar bu durumu koşullu saçsızlık teoremi olarak adlandırıyor: Şimdiye kadar üretilen metin göz önüne alındığında, $t$ büyüdükçe istemin bir sonraki token üzerindeki doğrudan etkisi ortadan kalkıyor. Dolayısıyla istemin kullanılan dil veya ton gibi hayatta kalan herhangi bir özelliğinin, bizzat üretilen metnin kendisi tarafından taşınması gerekiyor.

Tam olarak çözülebilir doğrusal bir aktarım modeli, bu matematiksel sınırın iyileştirilemeyeceğini gösteriyor ve eğitilmemiş ağlarda görülen yerel üssün $1$'e doğru yükselişini yeniden üretiyor. Seyrelmeyi bir logit bias ile iptal etmek, eğitimin erken aşamalarında azalmayı durduruyor ve sonrasında tersine çeviriyor. Bu da seyrelmenin ölçülen unutma için hem gerekli hem de yeterli olduğunu kanıtlıyor.

Yazılım Geliştirme ve Pratik Çıkarımlar#

Bu bulgular, LLM tabanlı yazılım geliştiren mühendisler ve Temel Prompt Teknikleri ile Production'da Agent Güvenilirliği üzerine çalışanlar için önemli pratik sonuçlar barındırıyor:

Üretilen Metnin Öz-Taşıyıcılığı: Uzun diyaloglarda veya çok adımlı ajan (multi-step agent) akışlarında, sistem istemindeki kurallar zamanla doğrudan etkisini yitirir. Modelin kurallara uymaya devam etmesi, ürettiği ara çıktıların bu kuralları yapısal olarak yansıtmasına bağlıdır.
Bağlam Yönetimi ve Hatırlatma: Uzun metin üretimlerinde kritik kısıtlamaların kaybolmaması için ara özetlemeler yapmak, yapısal çıktı (Structured Output) kullanmak veya önemli talimatları periyodik olarak bağlamın sonuna enjekte etmek, dikkat seyrelmesini telafi etmenin en etkili mühendislik yollarıdır.