Yapay Zeka Yazım Alışkanlıklarından Arındırılmış Model: Qwen3-4B-Deslop

Özet (TL;DR)#

Qwen3-4B-Instruct modelindeki tipik yapay zeka asistanı yazım alışkanlıkları (klişeler, kalıp ifadeler) eğitilerek temizlendi ve qwen3-4b-deslop olarak yayınlandı. Model, Ollama üzerinden 2.5 GB'lık bir indirmeyle (ollama run hf.co/erikkannike/qwen3-4b-deslop-v4-GGUF:Q4_K_M) doğrudan çalıştırılabiliyor.

Slop (Yapay Zeka Klişesi) Skoru: Eğitimde hiç görülmemiş 40 istemde (prompt) 1000 kelime başına 121'den 12.5'e düştü; yanıtların %68'i insan yazımı aralığında puanlandı.
Uzun Çizgi (Em Dash) Kullanımı: 1000 kelimede 20.5 seviyesinden sıfıra indi.
Doğruluk ve Kalite Korunumu: 30 bilgi sorusunun tamamını doğru yanıtlamaya devam ediyor ve istenen tür/uzunluk kriterlerine orijinal model kadar uyum sağlıyor. İnsan yazımı metinlerdeki tahmin sapması (drift), çalışma zamanı yönlendirmesine (runtime steering) kıyasla üçte bir oranında daha az gerçekleşti.
Ara Sürüm Zorlukları ve Çözümü: 9.9 puan alan bir ara sürüm, görüş içermeyen köşe yazıları yazma, sahte araştırmalar uydurma ve her cümleyi ", ki bu da (, which)" ile bağlama gibi kötü alışkanlıklar geliştirdi. Bunu düzeltmek için yanıtın gerçekten istemde isteneni yapıp yapmadığını denetleyen ikinci bir filtre eklendi.
Sınırlılıklar ve Donanım: Modelin üslubu oldukça düz (hatta bazen tekdüze) ve hâlâ isim/yer uydurma eğilimi gösterebiliyor. Ev laboratuvarı olarak bir MacBook Air kullanıldığı için bu çalışma 161 yanıtla eğitilmiş 4B boyutunda bir modelle sınırlı kaldı; ancak yöntem model boyutundan bağımsız olduğu için bir sonraki adım daha büyük modellere uygulamak olacak.

Eğitimde Görülmemiş 40 İstemdeki Yanıtlar#

Dört farklı türde ve on ayrı konuda, herhangi bir sistem istemi (system prompt) kullanılmadan orijinal modelden ve temizlenmiş modelden alınan örnek yanıtlar karşılaştırıldı. Üretim 260 token sınırında durdurulduğu için uzun yanıtlar cümle ortasında kesiliyor. Puanlamalar 1000 kelime üzerinden hesaplanıyor ve insan yazıları genellikle 15 puanın altında kalıyor.

"Slop" (Yapay Zeka Klişesi) Skoru ve Hasar Kontrolü#

Bu skor, yapay zekanın tipik yazım alışkanlıklarını içeren bir stil rehberine dayanarak yazılan özel bir tespit aracıyla hesaplanıyor:

Uzun çizgiler (em dash), "bu X değil, Y'dir" kalıpları, üçlü listeler, anında yanıtlanan retorik sorular, "işin aslı şu ki" gibi geçiş ifadeleri, vurgu amaçlı kısa devrik parçalar ve "delve" (derinlemesine inmek) veya "seamless" (kusursuz) gibi aşırı kullanılan kelimeler ağırlıklandırılarak 1000 kelime başına puanlanıyor.
Dikkatli bir insan yazarın paragrafı sıfıra yakın puan alırken, orijinal model ortalama 121 puan alıyor.

Basit bir kurallı ifade (regex) iyi yazıyı kötü yazıdan ayıramayacağı için her model hasar kontrolünden de geçirildi:

Sapma (Drift): Modelin 22 insan yazımı pasaj üzerindeki tahminlerinin orijinal modelden ne kadar uzaklaştığını ölçer.
Kalite Testleri: 30 soruluk bir bilgi testi modelin genel kültürünü koruduğunu doğrularken, kural tabanlı bir denetleyici küçük harfle başlayan cümleler veya konudan sapmalar gibi bozuk çıktıları işaretler. Ayrıca her modelden alınan yanıt örnekleri bizzat okunarak kontrol edildi.

Eğitim Yöntemi (Training Method)#

Önceki iki deney bu yöntemin temelini oluşturdu:

Modelin içindeki "asistan üslubu" bir vektör yönü olarak tespit edildi; yazım sırasında bu yönü çıkarmak ve sade bir sistem istemi kullanmak skoru 15'e düşürdü ancak üretim esnasında ek kod/istem gerektirdi ve normal metin tahminlerini kaydırdı.
Nöronları tek tek inceleyen ikinci bir deney, sadece dört nöronun işaretini ters çevirmenin "X değil, ama Y" kalıbını neredeyse sıfır maliyetle %70 oranında temizlediğini gösterdi (ancak yalnızca bu tek alışkanlık için geçerliydi).

Yazılım Geliştirme ve Öğrenme Çıkarımı: Çalışma zamanı müdahalelerini (runtime hooks) model ağırlıklarına kalıcı olarak aktarmak için damıtma (distillation) yöntemi kullanıldı. Şimdiye kadar en iyi çalışan tekniklerle oluşturulan bir "öğretmen" model 288 eğitim istemini yanıtladı. Kalite kontrollerini geçen yanıtlar tutuldu ve küçük bir LoRA adaptörü, çıplak istemlerden doğrudan bu temiz yanıtları üretmeyi öğrendi. İlk turda, hiçbir sistem istemi veya ek kod olmadan skor 20 civarına indi.

İkinci Tur (Round Two)#

İkinci turda öğretmen model; birinci turdaki model, dört nöronluk yama ve sade stil isteminin birleşiminden oluşturuldu. Bunun üzerine yönlendirme (direction steering) tekniğinin de eklenmesiyle, şimdiye kadar ölçülen en düşük skor olan 9.5 seviyesine ulaşıldı. Bu yaklaşım, küçük veri setleri ve hedefli filtreleme ile yerel donanımlarda bile LLM davranışlarının ne kadar etkili biçimlendirilebileceğini kanıtlıyor.