Tek Dilli RAG Sistemlerinde Akıl Yürütme Dili Uyumunun Rolü

Giriş ve Problem Tanımı#

Büyük dil modellerinde (LLM) akıl yürütme adımları (reasoning traces), karmaşık görevlerin çözümünde model başarımını ve yanıt kalitesini belirgin biçimde artırmaktadır. Buna karşın, günümüz modellerinin büyük çoğunluğu ağırlıklı olarak İngilizce veriyle ve İngilizce akıl yürütecek biçimde eğitilmiştir. Literatürdeki çalışmalar, modeli başka bir dilde düşünmeye zorlamanın doğruluğu düşürdüğünü göstermektedir. Üstelik bu durum, akıl yürütme dili ile istem dili eşleştiğinde bile geçerlidir; ancak bu çıkarım yalnızca kısa istemler (prompts) üzerinden elde edilmiştir.

Araştırma Sorusu ve Test Ortamı#

Modelin hedef dilde getirilen büyük miktardaki kanıtı okuyup birleştirmek zorunda olduğu Retrieval-Augmented Generation (RAG) mimarilerinde de bu durum geçerli midir?

Araştırmacılar bu soruyu yanıtlamak için, masaüstü rol yapma oyunu The Dark Eye evrenine dayanan, tamamen Almanca tek dilli bir RAG soru-cevap test ortamı kurmuştur. Bu kurgusal evren Almanca kaynaklar açısından son derece zengin, ancak modelin ezberden yanıtlayamayacağı kadar niştir. Dolayısıyla sistem, doğru yanıta ulaşmak için tamamen bilgi getirme (retrieval) sürecine dayanmak zorundadır.

Temel Bulgular#

Ajan tabanlı bir RAG sisteminde zorunlu akıl yürütme dili değiştirilerek yürütülen deneylerde şu dört temel sonuca ulaşılmıştır:

Dil Uyumu Avantaj Sağlar: Akıl yürütme dilini, kullanıcı sorgusu ve getirilen belgelerin diliyle hizalamak sistem doğruluğunu artırmaktadır.
Yeterlilik Değil, Uyum Etkilidir: Modelin genel testlerde Fransızca yetkinliği daha yüksek olmasına rağmen, zorunlu Almanca akıl yürütme zorunlu Fransızcadan daha başarılı olmuştur. Bu durum, avantajın dil yeterliliğinden değil, retrieval bağlamıyla sağlanan dil uyumundan (alignment) kaynaklandığını gösterir.
Zengin ve Yapısal Bağlam: Getirilen bağlam zenginleştikçe ve yapı farkındalığına (structure-aware) sahip oldukça dil uyumunun getirdiği kazanım daha da büyümektedir.
Doğal Çok Dilli Akıl Yürütme İhtiyacı: Zorunlu Almanca akıl yürütme, modelin kısıtlanmamış doğal İngilizce akıl yürütme seviyesine yalnızca ulaşabilmiş, onu geçememiştir. Bu tablo, modellerin doğuştan çok dilli akıl yürütme yetenekleriyle eğitilmesi gerektiğini ortaya koymaktadır.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

RAG Mimarilerinde Dil Tutarlılığı: İngilizce dışındaki dillerde geliştirilen kurumsal RAG boru hatlarında, düşünce zincirini (Chain-of-Thought) getirilen bağlamın diliyle eşitlemek halüsinasyon riskini azaltır.
Yapılandırılmış Veri Sunumu: Getirilen belgeleri salt ham metin yerine yapılandırılmış biçimde modele sunmak, hedef dildeki akıl yürütme verimini doğrudan güçlendirir.
Hibrit Akıl Yürütme Stratejileri: Modeli hedef dilde düşünmeye zorlamak doğal İngilizce başarısını aşamadığından, üretim ortamlarında çok dilli ajan iş akışları tasarlanmalıdır.

Bu konuyu derinlemesine öğrenmek isterseniz: İleri Akıl Yürütme Teknikleri modülüne göz atın.