Varışta Bozuk: Açık Model Kayıt Defterlerindeki İşlevsiz Kuantize LLM Çıktıları ve Bunları Yakalama Yöntemleri

Açık Kayıt Defterlerindeki Kuantize Modellerin Gizli Riski#

Geliştiriciler, büyük dil modellerini (LLM) yerel ortamlarında çalıştırmak için açık kayıt defterlerinden (public registries) kuantize edilmiş (quantized) modelleri sıklıkla indirirler. Ancak incelenen kayıt defterlerinin hiçbiri, sundukları dosyalar için işlevsel test süreçlerini belgelememiştir. Bu durum, Model Tarama ve Doğrulama ile Güvenli Model Registry ve Container Güvenliği süreçlerinin yerel yapay zeka geliştirmede ne kadar kritik olduğunu göstermektedir.

Araştırma kapsamında resmi Ollama kütüphanesindeki 15 model ailesinde yer alan ve kod yazma yeteneğine sahip 305 uygun GGUF (llama.cpp formatı) etiketi ile 22 popüler Hugging Face topluluk dosyası test edilmiştir. İlk aşamada uygulanan 15 görevlik hızlı bir kod taraması ile şüpheli modeller belirlenmiş ve bu şüpheliler 164 görevlik HumanEval+ veri setinin tamamında yeniden test edilmiştir.

Test Bulguları ve Kök Neden Analizi#

• Düşük Bit ve Küçük Model Hassasiyeti: Resmi etiketlerden yedisi (%2,3) 164 görevden en fazla altısını çözebilmiştir. İşlevsiz çıkan bu modellerin tamamı, en fazla 4 milyar parametreye sahip modellerin düşük bitli (low-bit) kuantizasyonlarıdır.
• Bozuk Dosya Değil, Kalibrasyonsuz Üretim: Şüpheli beş dosya, orijinal ağırlıklardan yeniden oluşturulmuştur. Kayıt defterindeki beş dosyanın tamamı, kalibre edilmemiş yeniden üretimlerle tensör bazında birebir eşleşmiştir; yani dosyaların hiçbiri indirme veya depolama sırasında bozulmamıştır. Tam yeniden üretilebilirlik (exact reproducibility), modelin işlevsel olduğu anlamına gelmemektedir.
• Önem Matrisinin (Importance Matrix) Etkisi: Ağırlıklar, araç zinciri ve tensör karışımı sabit tutularak yalnızca bir önem matrisi (importance matrix) eklendiğinde, üç farklı Qwen2.5-Coder-3B derlemesinin çözdüğü görev sayısı sıfırdan 76-113 aralığına yükselmiştir.
• Tarif Tek Başına Hatayı Öngörmez: Aynı kalibrasyonsuz kuantizasyon tarifi, daha küçük olan Qwen2.5-Coder-1.5B modelini işlevsel bırakmıştır. Bu da yalnızca kullanılan kuantizasyon tarifine bakarak başarısızlığın tahmin edilemeyeceğini kanıtlamaktadır.
• Hızlı Taramanın Güvenilirliği: İlk 15 görevlik taramayı geçen 66 örneklem etiketin hiçbirinde işlevsizlik görülmemiştir. Araştırmacılar denetim verilerini ve geliştirdikleri quantcheck aracını açık kaynak olarak paylaşmış; düşük bitli etiketlerin yayınlanmadan önce taranmasını, başarısız olanların ise kalibre edilmesini veya yayından çekilmesini önermiştir.

Yazılım Geliştirme ve Mühendislik İçin Pratik Çıkarımlar#

• Dosya Bütünlüğü İşlevsellik Demektir Yanılgısı: AI Tedarik Zinciri Güvenliği kapsamında dosya özetlerini (hash) doğrulamak dosyanın bozulmadığını kanıtlar ancak modelin mantıksal olarak çalıştığını garanti etmez.
• Otomatik Duman Testleri (Smoke Testing): Üretim ortamına veya yerel geliştirme iş akışına yeni bir GGUF modeli dahil etmeden önce AI Test Stratejileri uygulanmalıdır. Yalnızca 15 soruluk küçük bir doğrulama testi bile tamamen çökmüş modelleri %100'e yakın başarıyla filtreleyebilir.
• Doğru Model ve Optimizasyon Seçimi: Modeller: Hangisi, Ne Zaman? ve Ölçeklendirme ve Optimizasyon kararları alınırken, 4B altı modellerde agresif düşük bit kuantizasyon yapılıyorsa mutlaka kalibrasyon verisi (importance matrix) kullanıldığı doğrulanmalıdır.

Orijinal makaleye buradan ulaşabilirsiniz.