AutoCompress: Donanım Odaklı Otomatik Model Sıkıştırma ve Budama Çerçevesi

Parametre Sayısının Ötesinde Model Optimizasyonu#

Büyük Dil Modellerini (LLM) üretim ortamına taşırken kullanılan budama (pruning) işlemlerinin temel amacı, model kalitesini korurken gecikme süresi (latency), işlem hacmi (throughput) ve bellek (memory) gibi donanıma ve iş yüküne özgü kısıtlamaları karşılamaktır. Geleneksel budama iş akışları çoğunlukla yalnızca parametre sayılarını küçültmeye odaklanır. Bu durum, geliştiricilerin hedefledikleri gecikme süresi, işlem hacmi ve GPU bellek sınırlarına uyan model boyutlarını manuel olarak deneme-yanılma yoluyla seçmesini gerektirir.

Ancak yazılım ve sistem mühendisliği perspektifinden bakıldığında, tek başına parametre sayısı bu çalışma zamanı metriklerini doğru şekilde tahmin edemez. Gerçek dünya performansı şu dört temel faktörün birleşimine bağlıdır:

• Model Mimarisi: Katmanların derinliği, genişliği ve içsel yapı taşları.
• İş Yükü (Workload): İsteklerin bağlam uzunluğu (context length) ve yığın (batch) boyutları.
• Donanım: Kullanılan GPU'nun bellek bant genişliği ve işlem kapasitesi.
• Sunum Motoru (Serving Engine): Modelin üzerinde çalıştığı çıkarım (inference) altyapısı.

AutoCompress Nasıl Çalışır?#

Bu zorlukları aşmak için geliştirilen AutoCompress, donanım ve iş yükü kısıtlamalarını doğrudan türevlenebilir mimari arama (differentiable architecture search) sürecine dahil eden donanım odaklı bir sıkıştırma çerçevesidir.

AutoCompress, uçtan uca gecikme süresi, işlem hacmi ve bellek ölçümleriyle doğrulanmış sunum motoru maliyet modellerini (cost models) rehber olarak kullanır. Küresel ve katman bazlı yapıyı birlikte optimize ederek standart tekdüze modeller yerine heterojen mimariler üretir.

Gerçek Dünya Senaryoları ve Performans Kazanımları#

AutoCompress, farklı mühendislik gereksinimlerini temsil eden üç kritik senaryoda değerlendirilmiştir:

• Uzun bağlamlı yerel kodlama (Long-context local coding)
• Yığın (batched) veri merkezi sunumu
• Gecikmeye duyarlı oyun içi etkileşim

En gelişmiş budama çerçevelerinden biri olan Minitron ile karşılaştırıldığında AutoCompress, sekiz farklı kıyaslama (benchmark) testinde ortalama doğruluğu RTX 5070 üzerinde 6,57, RTX 5080 üzerinde 2,35 ve H100 üzerinde 0,57 yüzde puanı artırmayı başarmıştır. Ayrıca Nemotron 3.5 Super modelini, 128K bağlam uzunluğunda tek bir B200 GPU üzerinde BF16 formatında sunulabilecek şekilde 120 milyar parametreden 74 milyar parametreye sıkıştırmış ve modelin ortalama kıyaslama skorunun %95'ini korumuştur.

Geliştiriciler İçin Pratik Çıkarımlar#

Edumints platformundaki Ölçeklendirme ve Optimizasyon ile Modeller: Hangisi, Ne Zaman? modüllerinde vurgulanan üretim ilkeleri doğrultusunda şu pratik dersleri çıkarabiliriz:

• Sadece Boyuta Değil, Hedef Donanıma Odaklanın: Model seçimi ve sıkıştırma yaparken yalnızca parametre sayısına bakmak yanıltıcıdır; hedef GPU ve sunum motoru (serving engine) mutlaka hesaba katılmalıdır.
• İş Yükü Karakteristiğini Belirleyin: Yerel kodlama asistanları ile veri merkezi sunumları farklı bellek ve gecikme darboğazlarına sahiptir. Optimizasyon stratejisi kullanım senaryosuna göre şekillendirilmelidir.
• Tekil GPU Sınırlarını Aşın: Doğru donanım güdümlü budama teknikleriyle, devasa modeller bile doğruluktan minimum ödün vererek uzun bağlam (128K) gereksinimlerinde tek bir GPU'ya sığdırılabilir.