Yapay Zekanız Hatırladıklarını Gerçekten Kullanabiliyor mu?

Bir yapay zeka asistanı kullanıcının kuruyemiş alerjisi olduğunu kusursuz biçimde hatırlayabilir; ancak aynı kullanıcı bir makaron tarifi istediğinde, bu alerjiyi hesaba katmadan badem unlu standart bir tarif sunabilir. Bu çarpıcı senaryo, xMemory altyapısını kullanan ve ajan belleğini inceleyen InMind çalışmasından kaydedilmiş somut bir örnektir.

Yapılan değerlendirme iki temel soruyu birbirinden ayırır: Sistem, soru doğrudan o bilgiyi işaret ettiğinde gerçeği bulup getirebiliyor mu? Ve daha önemlisi, bu bilgiyi kısıt gerektiren bir karar anına dahil edebiliyor mu? Bir yapay zeka asistanına bellek kazandırmamızın asıl gerekçesi bu ikinci sorudur; zira bir kullanıcının her istekten önce hangi geçmiş konuşmaya başvurulacağını asistana hatırlatması gerekmemelidir.

Yazılım Geliştirme Süreçlerinde Bellek Kısıtları

Bir yazılım geliştirme ajanı için bunun karşılığı; servisin kısa ömürlü (ephemeral/serverless) süreçlerde çalıştığını hatırlamasına rağmen, saatlik temizlik için süreç içi bir zamanlayıcı (in-process timer) önermesidir. Bu örnekte kullanıcı mevcut isteğinde mimari kısıtı tekrar belirtmez; ancak bu kısıt, üretilecek doğru çözümün ne olduğunu kökten değiştirir.

InMind çalışması, belirgin sözcüksel ve anlamsal getirme ipuçlarını kasıtlı olarak kaldırarak bu başarısızlık modunu 125 sentetik görevle stres testine tabi tutmuştur. text-embedding-3-large modeliyle çalışan A-Mem yapılandırmasında şu sonuçlar ölçülmüştür:

%100 Doğrudan Hatırlama (Direct Recall): Saklanan bilgiyi doğrudan soran 125 sorunun tamamında tam başarı sağlandı.
%12 Hedef Hatırlama (Target Recall): Dolaylı isteklerde gerekli bilginin modelin bağlam penceresine dahil edilme oranı 125 görevde yalnızca 15'te kaldı.
%9,6 Uygulama (Application): Hem kısıtın bağlama dahil edildiği hem de nihai yanıtta doğru uyarının üretildiği görev sayısı 125'te sadece 12 oldu.

Ajan Mimarileri İçin Çıkarımlar

Araştırmacılar yalnızca yanıtı puanladığında başarı %25,6'ya çıkmaktadır. Çünkü model, kullanıcı kısıtını getirmese bile genel dünya bilgisinden yola çıkarak doğru bir tavsiye üretebilir; ancak bu durum bellek sisteminin çalıştığını kanıtlamaz. Klasik "önce getir, sonra yanıtla" (retrieve-then-answer) boru hattında süreç şu sırayla işler:

Yeni İstek → Bellekleri Seç → Seçilen Bellekleri Bağlama Ekle → Yanıt Üret

Seçim adımı, yanıtlayıcı model adayı görmeden önce neyin kritik olduğuna karar vermek zorundadır. Getirme katmanı kısıtı atlarsa, model başka bir ortam için kusursuz çalışan fakat sizin altyapınızda çökecek kodlar yazar. Gömme modelleri anlamsal ilişkileri kodlayabilir; ancak bu yeteneklerin, kısıtı doğrudan belirtmeyen dolaylı senaryolarda test edilmesi şarttır.

Pratik Çıkarım: Üretim seviyesinde ajan tasarlarken doğrudan getirme metrikleriyle yetinmeyin. Bellek mekanizmalarınızı kısıtların açıkça verilmediği dolaylı senaryolarla test edin.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://dev.to/p0rt/can-your-ai-use-what-it-remembers-57c)

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.