A*-Thought-V2: LLM Geometrik Dinamikleri ile Verimli Gizil Akıl Yürütme

Giriş ve Problem Tanımı

Büyük Dil Modellerinde (LLM) Düşünce Zinciri (Chain-of-Thought - CoT) yaklaşımı, modelin karmaşık akıl yürütme yeteneklerini belirgin şekilde artırır; ancak beraberinde yüksek hesaplama maliyeti ve bağlam penceresi (context window) yükü getirir. Mevcut optimizasyon yöntemleri ya sert budama (hard pruning) uygulayarak ara adımlardaki kritik bilgileri kaybetmekte ya da sürekli sıkıştırma (continuous compression) için sağlam bir matematiksel ölçütten yoksun kalmaktadır.

Geometrik Dinamiklerle A*-Thought-V2 Mimarisi

A-Thought-V2*, CoT akışını bir gizli durum yörüngesi (hidden-state trajectory) olarak modelleyen ve sert silme işlemleri yerine açık-örtük (explicit-implicit) serpiştirilmiş gizil mimari sunan geometrik dinamik rehberliğinde bir çerçevedir:

3B PCA Projeksiyonu ve Yön Uyum Ölçümü: Soru, akıl yürütme adımları ve çözüm temsilleri 3 boyutlu PCA uzayına yansıtılır. Her yerel geçişin, genel soru-çözüm yön vektörüyle olan açısal uyumu hesaplanır.
Açık ve Gizil Temsil Ayrımı: Küresel yönle uyumlu adımlar açık metin (explicit text) olarak korunurken, ana yörüngeden sapan adımlar sürekli gizil token'lara (continuous latent tokens) sıkıştırılır.
Açısal Dinamiklerin Anlamsal Rolü: Dar açılar doğrudan yürütme ve nihai yanıt oluşumunu temsil eder. Geniş açılar ise kontrol, düzeltme ve alternatif dalların araştırılmasını yansıtır; açıların zamansal değişimi keşif, yakınsama ve iyileştirme evrelerini ortaya koyar.
Eğitim Stratejisi (Embedding ve Label Forcing): Gereksiz her adımı tek bir gizil gömmeye indirgeyen adım bazlı gömme zorlaması (stepwise embedding forcing) ile bu gizil token'ı tekil (one-hot) etiket yerine yumuşak, çok modlu bir kelime dağılımıyla denetleyen etiket zorlaması (label forcing) kullanılır.

Deneysel Başarı ve Temsil Analizleri

Qwen3.5-9B ve Qwen3.6-27B modelleriyle altı farklı kıyaslama testinde elde edilen sonuçlar:

Yanıt uzunluğu yarı yarıya (%50) azaltılırken ortalama doğrulukta %2,6'ya varan artış elde edilmiştir.
Hesaplama birimi başına doğruluk 2,29 katına çıkmış; ön işleme süresi %94,6, eğitim süresi ise %80,3'e varan oranda kısaltılmıştır.
Temsil analizleri, gizil durumların metin durumlarından ayrışan kompakt bir bölge oluşturduğunu ve gizil token konumlarındaki yüksek entropinin daha zengin adım düzeyi öznitelik öğrenimini sağladığını göstermektedir.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar

Üretim Ortamında Maliyet ve Gecikme Optimizasyonu: Uzun CoT süreçleri LLM servislerinde gecikmeyi ve token faturalarını katlar. Gizil token sıkıştırması, doğruluktan ödün vermeden çıkarım (inference) maliyetini optimize etmek için ideal bir altyapı sunar.
Daha Dayanıklı Akıl Yürütme Pipeline'ları: Ara adımların keşif ve doğrulama dinamiklerini geometrik açılarla analiz etmek, modellerin kendi kendini düzeltme (self-correction) süreçlerini daha kontrollü ve hafif mimarilerle inşa etmeyi mümkün kılar.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.07821)

Bu konuyu derinlemesine öğrenmek isterseniz: İleri Akıl Yürütme Teknikleri modülüne göz atın.