Jacobian Lens: Büyük Dil Modellerinin "Bilinçaltını" Okumak ve Yorumlamak

Yapay zeka modellerinin içsel çalışma mekanizmalarını anlamak, modern makine öğreniminin en büyük zorluklarından biridir. Anthropic tarafından geliştirilen ve açık kaynak olarak sunulan jacobian-lens kütüphanesi, Büyük Dil Modellerinin (LLM) "düşünme" süreçlerini ve içsel durumlarını analiz etmeyi sağlayan güçlü bir yorumlanabilirlik (interpretability) aracıdır. Bu repo, yapay zekanın ürettiği son çıktıların ötesine geçerek, modelin arka planda hangi kavramlar üzerinde akıl yürüttüğünü ortaya çıkarmayı hedefler.

Jacobian Lens Nedir ve Neden Önemlidir?

Geleneksel yöntemler modellerin sadece son ürettiği kelimelere odaklanırken, Jacobian Lens (J-Lens) modelin içsel aktivasyonlarının gelecekteki çıktı olasılıklarını nasıl etkilediğini analiz eder. Matematiksel olarak, belirli bir aktivasyon vektörünün modelin kelime dağarcığındaki (vocabulary) token'lar üzerindeki gradyanını (Jacobian matrisini) hesaplar. Bu yöntem, bilişsel bilimlerdeki "Küresel Çalışma Alanı Teorisi"nden (Global Workspace Theory) esinlenmiştir. Modellerin içinde, bilgiyi işleyen ve onu gelecekteki kelimelere dönüştüren "J-space" adında gizli bir alan olduğunu varsayar.

Geliştiriciler ve araştırmacılar için değeri oldukça büyüktür:

Gizli Düşünceleri Okuma: Modelin henüz kelimelere dökmediği ama içsel olarak "düşündüğü" kavramları tespit edebilir. Örneğin, model manipülatif veya hatalı bir yanıt vermeden önce içsel durumunda bu hatayı fark ettiğini görebilirsiniz.
Güvenlik ve Hizalama (Alignment): Yapay zekanın güvenli çalışmasını sağlamak için modelin halüsinasyon veya yanıltıcı bilgi üretme eğilimlerini daha çıktı üretilmeden yakalamayı kolaylaştırır.
Nedensel Kontrol: J-space üzerindeki aktivasyonlar manipüle edilerek, modelin davranışları ve akıl yürütme biçimi doğrudan etkilenebilir.

Pratik Kullanım Örneği

Jacobian Lens, Hugging Face modelleriyle entegre çalışacak şekilde tasarlanmıştır. Aşağıdaki basit Python örneğinde, önceden eğitilmiş bir lensin bir modele nasıl uygulanacağı gösterilmektedir:

import transformers
import jlens

# 1. Model ve Tokenizer Yükleme
hf_model = transformers.AutoModelForCausalLM.from_pretrained("gpt2").cuda()
tokenizer = transformers.AutoTokenizer.from_pretrained("gpt2")

# 2. Modeli jlens kütüphanesi ile sarmalama
model = jlens.from_hf(hf_model, tokenizer)

# 3. Eğitilmiş bir lensi Hugging Face üzerinden yükleme
lens = jlens.JacobianLens.from_pretrained("anthropic/jlens-gpt2")

# 4. Lensi girdi üzerinde uygulayarak tahminleri alma
lens_logits, model_logits, _ = lens.apply(
    model, 
    "Fransa'nın başkenti olan şehir şudur:"
)

Benzer Araçlarla Karşılaştırma

Yorumlanabilirlik alanında Jacobian Lens ile benzer amaçlara hizmet eden iki popüler yöntem bulunmaktadır:

Logit Lens: Modellerin ara katmanlarındaki saklı durumları (hidden states) doğrudan son katmana göndererek analiz eder. Basit ve hızlıdır ancak erken katmanlarda tutarsız ve gürültülü sonuçlar verebilir.
Tuned Lens: Logit Lens'in sınırlamalarını aşmak için her katman için küçük eğitilebilir dönüştürücüler kullanır. Erken katmanlarda daha başarılıdır ancak ek eğitim gerektirir ve hesaplama maliyeti yüksektir.
Jacobian Lens (J-Lens): Diğerlerinden farklı olarak, doğrudan gelecekteki token'lar üzerindeki nedensel etkiyi (gradyanları) ölçer. Bu sayede modelin sadece o anki tahminini değil, akıl yürütme "çalışma alanını" (Global Workspace) daha hassas ve doğrusal bir şekilde haritalandırır.

Orijinal repoya buradan ulaşabilirsiniz.