StateBench: Dil Modellerinin Uzun Belgelerdeki Durum Değişikliklerini Nasıl Takip Ettiğini Test Etmek

Dil modellerinin uzun belgelerde zamanla gelişen ve değişen varlık bilgilerini ne kadar iyi takip edebildiğini ölçen yeni bir uzun bağlam durum takibi (state tracking) kıyaslama testi olan StateBench tanıtıldı. Durum takibi; değişkenlerin tanımlanıp yeniden atandığı kaynak kodları okumaktan, karakterlerin fiziksel olarak yer değiştirdiği ve nesnelerin el değiştirdiği bir hikayeyi takip etmeye kadar pek çok temel görevin altyapısını oluşturur. Örneğin bir polisiye romanda cinayetten hemen önce "John bıçağı Mary'ye verdi" ifadesi geçiyorsa, her iki karakterin de durumunun değiştiğini bilmek kritik önem taşır.

Ancak tüm durum takibi problemleri aynı zorlukta değildir. Bazıları yalnızca en son güncellemeyi bulmayı gerektirirken, daha zor olanlar tek bir adımın bile kaçırılmasının nihai cevabı bozabileceği bir değişiklik zincirini takip etmeyi gerektirir. Örneğin, Edward'ın daha önce John'un sırt çantasına bir bıçak koyduğu biliniyorken, John'un sırt çantasındaki eşyayı Mary'ye vermesi çok daha karmaşık bir bağımlılık zinciri oluşturur.

Transformer mimarilerinin uzun bağımlılık zincirlerine sahip zorlu durum takibi varyantlarında teorik sınırları olduğu iyi bilinmektedir. Bu durum, ileriye doğru sürekli bir bellek taşıyan Gated DeltaNet gibi tekrarlayan (recurrent) ve hibrit mimarilerin geliştirilmesini teşvik etmiştir. Mevcut testler genellikle en zor vakalara odaklanır; ancak farklı mimarilerin yalnızca en zor olanlarda değil, daha basit ve yaygın durum takibi türlerinde de nasıl ayrıştığını anlamak için StateBench geliştirilmiştir. Araştırma bulguları, bu görevler üzerinde doğrudan eğitildiklerinde tekrarlayan ve hibrit modellerin transformer'lara göre çok daha uzağa genelleme yapabildiğini göstermektedir. Buna karşın Gemini 3.8 Flash, Claude Opus 5.5 ile GPT-6 Sol ve Luna gibi öncü modeller bile girdiler uzadıkça zorlu durum takibi biçimlerinde başarısız olmaya devam etmektedir.

Yazılım geliştirme ve yapay zeka mühendisliği açısından bu bulgular kritik pratik çıkarımlar sunar: Uzun kod tabanlarını analiz eden veya çok adımlı ajan (multi-step agent) iş akışları yürüten sistemlerde, durum bilgisini tamamen modelin ham bağlam penceresine bırakmak yerine harici durum yönetimi (state management) mekanizmaları kullanmak güvenilirliği artıracaktır.

Dört Durum Takibi Seviyesi#

StateBench, giderek karmaşıklaşan durum güncelleme işlemlerine izin veren dört zorluk seviyesinden oluşur. Programcılar ve yazılım geliştiriciler için bu karmaşıklık seviyeleri, farklı türdeki değişken atama (variable assignment) işlemleri olarak anlaşılabilir:

• R-trivial problemler (Değişmez atama / Immutable assignment): Bir değişkenin değeri asla değişmez; bu nedenle modelin yalnızca ilk atanan değeri hatırlaması yeterlidir. Kodda bu let x = 4 gibidir; günlük hayatta ise sabit kalan bir doğum tarihi örnek verilebilir.
• Aperiodic problemler (Değerle yeniden atama / Reassignment by value): Modelin en güncel değeri bulması gerekir ve önceki değerleri tamamen görmezden gelebilir. Kodda bu, x = 4 ifadesinin ardından daha sonra x = 2 gelmesi gibidir; günlük hayatta mevcut sıcaklığı en son ayarın belirlediği bir termostata benzer.
• Soluble problemler (Kendine referanslı güncellemeler / Self-referential updates): Her güncelleme mevcut değerin üzerine inşa edilir; bu yüzden modelin sadece son atamayı bulmak yerine değişiklikleri ileriye taşıması gerekir. Kodda bu x = x + 5 şeklinde görünür; günlük hayatta her puanın toplam skora eklendiği bir oyun skoru gibidir.
• General finite problemler (Referansla atama / Assignment by reference): Bir değişken başka bir değişkenin durumunu veya referansını devralabilir. Yazılım geliştirmede işaretçiler (pointers) veya nesne referansları üzerinden yapılan dolaylı durum güncellemelerini takip etmek bu en üst karmaşıklık seviyesine karşılık gelir.