SteerDistill: Kapalı Döngü Öğretmen Yönlendirmesi ile LLM Ajanlarının Kuantizasyonu

Düşük Bitli Kuantizasyon ve Ajan Davranışındaki Sapmalar#

Büyük Dil Modeli (LLM) tabanlı ajanları üretim ortamına taşırken çıkarım (inference) maliyetlerini düşürmenin en etkili yollarından biri düşük bitli kuantizasyon (low-bit quantization) uygulamaktır. Ancak model ağırlıklarını küçültmek, çok adımlı ajan görevlerinde başarı oranını ciddi şekilde tehlikeye atabilir.

Başarısız ajan çalıştırmaları (rollout) incelendiğinde temel bir sorun öne çıkmaktadır:

• Görev ve Ortam İhlalleri: Kuantize edilmiş ajanlar, görev gereksinimlerini veya çevresel koşulları göz ardı etme eğilimindedir. Bu durum, tam hassasiyetli (full-precision) referans modellerin başarılı adımlarından sapan hatalı ortam geçişlerine yol açar.
• Mevcut Düzeltme Yöntemlerinin Yetersizliği: Çevrimdışı (offline) eğitim verileri, kuantize edilmiş öğrenci modelin kendi başına düşeceği spesifik hata bağlamlarını kapsayamaz. Öte yandan, öğrenci modelin kendi ürettiği yörüngeler de bu zorlu bağlamlarda doğru yanıt üretmekte yetersiz kalır.

SteerDistill ve Kapalı Döngü Öğretmen Yönlendirmesi#

Bu davranışsal sapmaları çözmek için geliştirilen SteerDistill, kuantizasyon farkındalıklı yeni bir damıtma (distillation) yöntemidir. Sistem şu adımlarla çalışır:

• Etkileşimli Rehberlik: Tam hassasiyetli bir öğretmen model, öğrenci modeli başarısız olduğu yanıtları revize etmesi için yönlendirir.
• Kapalı Döngü Geri Bildirim (Closed-Loop Steering): Öğretmen model, öğrencinin yürütme (execution) çıktılarından aldığı geri bildirimlerle rehberliğini döngüsel olarak iyileştirir ve yerel olarak doğrulanmış davranışsal düzeltmeler üretir.
• Rehbersiz Çıkarım İçin İçselleştirme: Eğitim aşamasında öğrenci model, düzeltilmiş adımlarda yönlendirilmiş öğrencinin tahminlerini, diğer adımlarda ise doğrudan tam hassasiyetli öğretmenin tahminlerini eşleştirecek şekilde —herhangi bir rehberlik olmadan— eğitilir. Böylece ajan, üretim ortamında öğretmen desteğine ihtiyaç duymadan tek başına yüksek performansla çalışabilir.

Performans Sonuçları ve Mühendislik Çıkarımları#

Beş farklı ajan kıyaslama testi (benchmark) ve üç model üzerinde yapılan deneyler, W4A16 kuantizasyon kurulumunda SteerDistill'in en güçlü kuantize temel modelleri ortalama puanda 1.67 ile 2.18 puan arasında geride bıraktığını ve BF16 tam hassasiyet performansına bir puan kadar yaklaştığını göstermektedir. Ayrıca τ^2-Bench testinde QeRL yöntemini başarı oranında 1.84 yüzde puanı geçerken, eğitimde %67 daha az GPU saati harcamış ve daha kısa, verimli görev yörüngeleri üretmiştir.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

Edumints platformundaki Ölçeklendirme ve Optimizasyon ile Production'da Agent Güvenilirliği modülleri kapsamında bu araştırmadan şu pratik dersleri çıkarabiliriz:

• Maliyet ve Güvenilirlik Dengesi: Çok adımlı ajanları W4A16 gibi formatlarla sıkıştırırken yalnızca statik veri setlerine güvenmeyin; modelin hata yaptığı ortam durumlarını simüle eden kapalı döngü eğitim stratejileri kullanın.
• Daha Kısa Yörüngeler, Düşük Gecikme: Doğru yönlendirilmiş kuantize modeller gereksiz adım atmayı bırakarak görevleri daha kısa sürede tamamlar; bu da hem token maliyetini hem de son kullanıcı gecikmesini (latency) doğrudan azaltır.
• Kaynak Verimliliği: Pekiştirmeli öğrenme (RL) tabanlı ağır süreçler yerine, hedeflenmiş öğretmen yönlendirmesiyle GPU eğitim bütçenizi üçte iki oranında koruyabilirsiniz.