Döngülü Transformer Modellerinde Daha İyi Çözümleme: LoopCD ile (Neredeyse) Bedava Verimlilik

Döngülü Transformer (Looped Transformer) mimarileri, paylaşılan tek bir bloğu tekrarlayan (recurrent) döngüler boyunca ardışık olarak yürüterek yüksek parametre verimliliği sağlar. Geleneksel modeller her katmanda farklı parametre kümeleri kullanırken, bu mimariler aynı bloğu tekrar tekrar çalıştırarak bellek ayak izini küçültür. Modelin gerçekleştirdiği her bir döngü, aynı bir sonraki token için çözümlenebilir bir ara temsil (intermediate representation) üretir; ancak standart çözümleme (decoding) süreçleri önceki döngülerde oluşan bu ara durumları göz ardı ederek çöpe atar. Erken döngüler daha az hesaplama barındırdığından, tekrarlama yapısı doğal olarak birbiriyle mükemmel hizalanmış zayıf ve güçlü tahmin çiftleri sunar. Bu durum, harici bir yardımcı modele veya ek bir eğitim sürecine gerek kalmadan karşıtsal sinyaller elde etmeyi mümkün kılar.

LoopCD Çerçevesi ve Çalışma Mekanizması

Bu mimari avantajı değerlendirmek amacıyla geliştirilen LoopCD, nihai tahmini önceki bir tekrarlayan döngünün geçişiyle karşılaştırarak token seçimini yönlendiren ve eğitim gerektirmeyen (training-free) bir karşıtsal çözümleme çerçevesidir. Sistem iki temel modda çalışmaktadır:

LoopCD-Logits: Logit uzayında operasyon yürütür ve yalnızca tek bir ek çıktı geçişi (extra output pass) maliyetiyle son tahmin ile erken döngü tahmini arasındaki farkı hesaplayarak token seçimini yönlendirir.
LoopCD-Hidden: Gizli durum (hidden-state) uzayında doğrudan karşılaştırma yapar ve çıktı katmanı üzerinde sıfır ek yük (zero output overhead) oluşturarak tamamen maliyetsiz bir rehberlik sağlar.

Deneysel Bulgular ve Performans Kazanımları

Dört farklı döngülü Transformer ailesi üzerinde yapılan kapsamlı testler, LoopCD'nin tam tekrarlama derinliğinde tutarlı ve belirgin kazanımlar sağladığını kanıtlamıştır:

AIME 2024 Başarımı: LoopCD-Logits yaklaşımı, Ouro-2.6B-Thinking modelinin zorlu AIME 2024 testindeki pass@1 başarımını %61.88 seviyesinden %73.33 düzeyine yükseltmiştir.
HumanEval Kod Üretimi: LoopCD-Hidden yöntemi, Huginn modelinin kodlama yeteneklerini ölçen HumanEval pass@1 skorunu %22.56'dan %31.71'e taşımıştır.

Bu kayda değer başarım artışı, tekrarlayan döngü sayısının yarıya indirilmesine olanak tanımaktadır. Döngü sayısı yarıya indirildiğinde dahi modeller, kılavuzsuz ve tam derinlikte çalışan temel modellerin performansını yakalamakta veya aşmaktadır. Bu optimizasyon, ileri besleme FLOP (kayan nokta işlem) maliyetinde %22.5 ile %48.2 arasında dramatik bir azalma sağlamaktadır.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar

Büyük dil modellerini ölçeklendiren ve üretim ortamına taşıyan yazılım mühendisleri için LoopCD önemli pratik avantajlar sunmaktadır:

Harici Model Bağımlılığının Bitişi: Geleneksel karşıtsal çözümleme yöntemleri zayıf tahminler için harici bir küçük model gerektirirken, LoopCD modelin kendi erken döngü durumlarını kullanarak ekstra sunucu veya bellek maliyetini sıfırlar.
İki Mod Arasındaki Mimari Tercih: Sıfır hesaplama ek yükü gereken uç cihaz veya düşük gecikmeli sistemlerde LoopCD-Hidden, maksimum akıl yürütme kalitesi hedeflenen analitik görevlerde ise minimal maliyetli LoopCD-Logits tercih edilebilir.
Çıkarım Verimliliği ve Maliyet Tasarrufu: İleri besleme FLOP yükünü yaklaşık yarıya kadar düşürürken model doğruluğunu korumak, üretim sunucularında işlemci/GPU maliyetlerini ve kullanıcıya dönen yanıt sürelerini doğrudan optimize eder.

[Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2610.02185)

Bu konuyu derinlemesine öğrenmek isterseniz: Ölçeklendirme ve Optimizasyon modülüne göz atın.