---
title: "SAE ile MoE Yorumlama: Seyrek Otokodlayıcılar, MoE Uzmanlarının İnsan Tarafından Yorumlanabilir İnce Ayarlı Uzmanlaşmasını Ortaya Koyuyor"
url: https://blog.edumints.com/sae-ile-moe-yorumlama-seyrek-otokodlayicilar-moe-uzmanlarinin-insan
category: "Yazılım"
date: 2026-11-06T15:05:46.937Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2611.08089
---

# SAE ile MoE Yorumlama: Seyrek Otokodlayıcılar, MoE Uzmanlarının İnsan Tarafından Yorumlanabilir İnce Ayarlı Uzmanlaşmasını Ortaya Koyuyor

## Giriş ve Mevcut Analizlerin Sınırları

**Mixture-of-Experts (MoE)** modelleri, her bir token'ı çok sayıda uzmandan (expert) yalnızca birkaçına yönlendirir; ancak tekil bir uzmanın tam olarak neden sorumlu olduğu konusu hâlâ belirsizliğini korumaktadır. Mevcut analiz yöntemleri, belirli alanlara göre etiketlenmiş veri kümeleri (domain-labeled corpora) üzerinde bir uzmanın ne sıklıkla seçildiğini saymaya dayanır. Ancak bu yaklaşım birkaç temel kısıtlamaya sahiptir:

- Sınıflandırma yapısını (taksonomiyi) önceden sabitler ve esneklik sağlamaz.
- İnce detayları kaçırarak kaba (coarse) bir düzeyde kalır.
- Uzmanın gerçek **katkısını (contribution)** değil, yalnızca yönlendirici tarafından **seçilme sıklığını (selection)** kaydeder.

## Özellik Uzayında Seyrek Otokodlayıcı (SAE) Yaklaşımı

Bu çalışmada araştırmacılar, uzmanlaşmayı önceden tanımlanmış veri kümeleri yerine doğrudan **özellik uzayında (feature space)** incelemektedir. Bunun için bir MoE katmanının çıktısı üzerinde **Seyrek Otokodlayıcı (Sparse AutoEncoder - SAE)** eğitilmiştir. MoE katmanının çıktısı, uzman çıktılarının yönlendirici (router) ağırlıklı bir toplamı olduğundan ve SAE kodlayıcısı (encoder) afin (affine) bir yapıya sahip olduğundan, her bir gizli özelliğin (latent) ön-aktivasyonu uzmanlar üzerinde tam ve kesin olarak ayrıştırılabilmektedir.

Geniş bir derlem (corpus) üzerinde bir araya getirildiğinde bu yöntem, her uzmana aktivasyonunu esas olarak kendisinin yönlendirdiği **baskın bir gizli özellikler kümesi (dominant set of latents)** kazandırır.

## Qwen3-30B-A3B Üzerindeki Bulgular ve İnce Ayarlı İş Bölümü

**Qwen3-30B-A3B** modelinin 4, 30 ve 46. katmanlarında yapılan incelemeler, model mimarisi hakkında şu çarpıcı sonuçları ortaya koymaktadır:

- **Katkı yoğunlaşması:** Uzmanların gerçek katkısı, yönlendirme (gating) mekanizmasının gösterdiğinden çok daha yoğundur.
- **Tekil baskınlık:** Çoğu gizli özelliğin yalnızca bir veya iki baskın uzmanı (dominator) vardır.
- **Sınırlı örtüşme:** Baskın kümeler arasındaki kesişim, yalnızca birkaç uzman çiftinde yoğunlaşmaktadır.
- **Alt alan uzmanlaşması:** Bu kümelerin otomatik yorumlanması (auto-interpreting), kaba alanların altında çok daha ince bir iş bölümü olduğunu gösterir. Örneğin; genel "kodlama" alanı yerine **Java** ile **ön yüz (front-end) web kodu** için ayrı uzmanlar veya genel "matematik" yerine **geometri** ile **aritmetik ve polinomlar** için farklı uzmanlar görev yapmaktadır. Ayrıca kaba alanların kendisi de oldukça eşitsiz sayıda uzman barındırmaktadır.

## Yazılım Geliştirme ve Mühendislik İçin Pratik Çıkarımlar

Edumints platformundaki **Modeller: Hangisi, Ne Zaman?** ve **Ölçeklendirme ve Optimizasyon** perspektifinden bakıldığında, bu bulgular yazılım geliştiriciler ve yapay zeka mühendisleri için önemli pratik çıkarımlar sunmaktadır:

- **Hedefli Model Budama (Pruning) ve Optimizasyon:** Bir MoE modelini yalnızca front-end geliştirme veya belirli bir matematiksel görev için üretim ortamına (production) alırken, sadece yönlendirici istatistiklerine bakmak yanıltıcı olabilir. SAE tabanlı katkı analizi ile gerçekten göreve katkı sağlayan uzmanlar tespit edilip bellek ve çıkarım (inference) maliyetleri optimize edilebilir.
- **Verimli İnce Ayar (Fine-Tuning):** Tüm modeli veya rastgele uzmanları eğitmek yerine, Java veya geometri gibi spesifik alt alanları domine eden uzmanları hedefleyerek daha hızlı ve düşük maliyetli adaptasyon sağlanabilir.
- **Açıklanabilirlik ve Hata Ayıklama:** Üretim ortamında model belirli bir kodlama dilinde hata yaptığında, sorunun hangi uzman çiftinden kaynaklandığını özellik uzayında izlemek, kara kutu (black-box) modelleri anlaşılır kılar. Araçlara ve açık kaynak kodlara `https://github.com/Bytedance-Seed/SAE-Interprets-MoE` adresinden, makale detaylarına ise `https://huggingface.co/papers/2611.08089` bağlantısından erişilebilir.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2611.08089)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/sae-ile-moe-yorumlama-seyrek-otokodlayicilar-moe-uzmanlarinin-insan