---
title: "AutoCompress: Donanım Odaklı Otomatik Model Sıkıştırma ve Budama Çerçevesi"
url: https://blog.edumints.com/autocompress-donanim-odakli-otomatik-model-sikistirma-ve-budama
category: "LLM"
date: 2026-11-09T09:05:59.433Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2611.08290
---

# AutoCompress: Donanım Odaklı Otomatik Model Sıkıştırma ve Budama Çerçevesi

## Parametre Sayısının Ötesinde Model Optimizasyonu

Büyük Dil Modellerini (LLM) üretim ortamına taşırken kullanılan budama (pruning) işlemlerinin temel amacı, model kalitesini korurken gecikme süresi (latency), işlem hacmi (throughput) ve bellek (memory) gibi donanıma ve iş yüküne özgü kısıtlamaları karşılamaktır. Geleneksel budama iş akışları çoğunlukla yalnızca parametre sayılarını küçültmeye odaklanır. Bu durum, geliştiricilerin hedefledikleri gecikme süresi, işlem hacmi ve GPU bellek sınırlarına uyan model boyutlarını manuel olarak deneme-yanılma yoluyla seçmesini gerektirir.

Ancak yazılım ve sistem mühendisliği perspektifinden bakıldığında, tek başına parametre sayısı bu çalışma zamanı metriklerini doğru şekilde tahmin edemez. Gerçek dünya performansı şu dört temel faktörün birleşimine bağlıdır:

- **Model Mimarisi:** Katmanların derinliği, genişliği ve içsel yapı taşları.
- **İş Yükü (Workload):** İsteklerin bağlam uzunluğu (context length) ve yığın (batch) boyutları.
- **Donanım:** Kullanılan GPU'nun bellek bant genişliği ve işlem kapasitesi.
- **Sunum Motoru (Serving Engine):** Modelin üzerinde çalıştığı çıkarım (inference) altyapısı.

## AutoCompress Nasıl Çalışır?

Bu zorlukları aşmak için geliştirilen **AutoCompress**, donanım ve iş yükü kısıtlamalarını doğrudan türevlenebilir mimari arama (differentiable architecture search) sürecine dahil eden donanım odaklı bir sıkıştırma çerçevesidir. 

AutoCompress, uçtan uca gecikme süresi, işlem hacmi ve bellek ölçümleriyle doğrulanmış sunum motoru maliyet modellerini (cost models) rehber olarak kullanır. Küresel ve katman bazlı yapıyı birlikte optimize ederek standart tekdüze modeller yerine **heterojen mimariler** üretir.

## Gerçek Dünya Senaryoları ve Performans Kazanımları

AutoCompress, farklı mühendislik gereksinimlerini temsil eden üç kritik senaryoda değerlendirilmiştir:

- **Uzun bağlamlı yerel kodlama (Long-context local coding)**
- **Yığın (batched) veri merkezi sunumu**
- **Gecikmeye duyarlı oyun içi etkileşim**

En gelişmiş budama çerçevelerinden biri olan **Minitron** ile karşılaştırıldığında AutoCompress, sekiz farklı kıyaslama (benchmark) testinde ortalama doğruluğu **RTX 5070** üzerinde **6,57**, **RTX 5080** üzerinde **2,35** ve **H100** üzerinde **0,57** yüzde puanı artırmayı başarmıştır. Ayrıca **Nemotron 3.5 Super** modelini, 128K bağlam uzunluğunda tek bir **B200** GPU üzerinde **BF16** formatında sunulabilecek şekilde **120 milyar parametreden 74 milyar parametreye** sıkıştırmış ve modelin ortalama kıyaslama skorunun **%95'ini** korumuştur.

## Geliştiriciler İçin Pratik Çıkarımlar

Edumints platformundaki **Ölçeklendirme ve Optimizasyon** ile **Modeller: Hangisi, Ne Zaman?** modüllerinde vurgulanan üretim ilkeleri doğrultusunda şu pratik dersleri çıkarabiliriz:

- **Sadece Boyuta Değil, Hedef Donanıma Odaklanın:** Model seçimi ve sıkıştırma yaparken yalnızca parametre sayısına bakmak yanıltıcıdır; hedef GPU ve sunum motoru (serving engine) mutlaka hesaba katılmalıdır.
- **İş Yükü Karakteristiğini Belirleyin:** Yerel kodlama asistanları ile veri merkezi sunumları farklı bellek ve gecikme darboğazlarına sahiptir. Optimizasyon stratejisi kullanım senaryosuna göre şekillendirilmelidir.
- **Tekil GPU Sınırlarını Aşın:** Doğru donanım güdümlü budama teknikleriyle, devasa modeller bile doğruluktan minimum ödün vererek uzun bağlam (128K) gereksinimlerinde tek bir GPU'ya sığdırılabilir.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2611.08290)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/autocompress-donanim-odakli-otomatik-model-sikistirma-ve-budama