---
title: "SFT İçin Token Ağırlıklandırmasını Yeniden Düşünmek: Öğrenilen Özellikleri Bastırma, Tersine Çevirme ve Dışdeğerleme"
url: https://blog.edumints.com/sft-icin-token-agirliklandirmasini-yeniden-dusunmek-ogrenilen
category: "Yazılım"
date: 2026-10-05T15:11:22.612Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2609.33463
---

# SFT İçin Token Ağırlıklandırmasını Yeniden Düşünmek: Öğrenilen Özellikleri Bastırma, Tersine Çevirme ve Dışdeğerleme

## Denetimli İnce Ayarın (SFT) Temel Sorunu

Büyük dil modellerinde denetimli ince ayar (Supervised Fine-Tuning - SFT), modelin gerçekleşme olasılığını en düşük gördüğü token'lardan en agresif biçimde öğrenir. Bu mekanizma modele yeni davranışlar kazandırırken; gürültülü veya çelişkili denetim verilerini büyüterek modelin önceden eğitilmiş faydalı temel bilgilerini ezmesine (overwriting) ve unutmasına neden olur.

## Mevcut Token Ağırlıklandırma Yöntemlerinin Sınırları

Birleşik bir ilke kaybı (policy-loss) perspektifinden bakıldığında, mevcut token ağırlıklandırma teknikleri şu temel engellere takılmaktadır:

- **Zararlı Özelliklerin Tersine Çevrilememesi:** Mevcut yöntemler örnek token'lara negatif olmayan katsayılar atar. Bu durum güncellemeleri bastırabilir veya güçlendirebilir; ancak zararlı özellikler bir kez öğrenildiğinde bunları tersine çeviremez.
- **Yörünge Sapması ve Dışdeğerleme Eksikliği:** Eğitim ağırlıklarını artırmak, sabit bir SFT yönünü ölçeklemek yerine optimizasyon yörüngesini değiştirdiğinden gerçek bir özellik dışdeğerlemesi (extrapolation) sağlamaz.
- **Sabit Referans Çerçevesi Gereksinimi:** Özellikleri başarıyla tersine çevirmek ve dışdeğerlemek, sabit bir SFT farkı (delta) ile tanımlanmış kararlı bir referans çerçevesi gerektirir.

## SCALE: Entropi Rehberliğinde Seçici Adaptasyon Kontrolü

Bu sınırları aşmak için **SCALE** (*Selective Control of Adaptation via Local Entropy*) yöntemi önerilmektedir:

- **Dondurulmuş Çekirdek ve SFT Deltası:** Taban modeli ve SFT ile öğrenilen parametre farkını (delta) dondurarak kararlı bir referans oluşturur.
- **Entropi Minimizasyonu ile Kapılama:** Yalnızca tahmin entropisini en aza indirerek sınırlı token ve modüle özgü kapılar (gates) eğitir.
- **Seçici Özellik Kontrolü:** Bu kapılar, dondurulmuş SFT özelliklerini entropi azaltımıyla olan uyumlarına göre bastırır, tersine çevirir veya dışdeğerler.

## Deneysel Sonuçlar ve Başarı Metrikleri

SCALE mimarisi, farklı ölçekteki açık kaynaklı modellerde test edilerek üstün sonuçlar vermiştir:

- **Matematiksel Akıl Yürütme:** Qwen2.5-Math-1.5B üzerinde 37.84, Qwen2.5-Math-7B üzerinde 43.60 ve Qwen3-4B-Base üzerinde 36.57 ortalama skor elde ederek en güçlü temel modelleri geride bırakmış, genel bilgi koruma testlerinde rekabetçi kalmıştır.
- **Kod Üretimi:** HumanEval, HumanEval+ ve MBPP kıyaslama setlerinde test edilen üç model için de en yüksek ortalama kod üretim performansına ulaşmıştır.

## Yazılım Geliştiriciler İçin Pratik Çıkarımlar

- **Kalıntı Dinamiklerinin Yönetimi:** İnce ayar süreçlerinde hataları gidermek için modeli sıfırdan yeniden eğitmek yerine, öğrenilmiş artık vektörlerin (residuals) kullanımını kontrol etmek hem hesaplama maliyetini düşürür hem de daha kararlı sonuçlar üretir.
- **Çıkarım ve Entegrasyon Kolaylığı:** Modellerin halüsinasyon veya istenmeyen davranışlarını düzeltirken yerel tahmin entropisini bir denetim sinyali olarak kullanmak, üretim hattında yıkıcı unutmayı engelleyerek kod ve mantık kabiliyetlerini korur.



---

Bu konuyu derinlemesine öğrenmek isterseniz: [Axolotl ve torchtune ile Pratik Çok-GPU Fine-Tuning](https://edumints.com/kesfet/distributed-training-deepspeed-fsdp2-ve-megatron-l-o081) modülüne göz atın.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2609.33463)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/sft-icin-token-agirliklandirmasini-yeniden-dusunmek-ogrenilen