Gemma 4 Modelini Eski Korece Çevirmenine Dönüştürmek

Eski kitapların benzersiz bir güzelliği vardır; ancak Joseon Hanedanlığı dönemine ait HongGildongJeon (홍길동전) gibi Klasik Kore edebiyatından bir eser açtığınızda, dilin zamanla ne kadar değiştiğini fark edersiniz. Kelime boşluklarının olmaması, Arae-a (ㆍ) veya Yeorin-hieut (ㆆ) gibi artık kullanılmayan harfler nedeniyle bu metinleri okumak antik bir bulmacayı çözmeye benzer.

Bu dilsel uçurumu kapatmak ve geçmiş ile günümüz arasında dijital bir köprü kurmak amacıyla, Gemma 4 E2B (IT) modelini kullanarak Klasik Koreceyi modern Koreceye dönüştüren mütevazı bir çeviri aracı geliştirdik.

Eğitim Tarifi

Bu projeyi yönetilebilir kılmak adına, eğitimi Google Colab üzerinde tek bir NVIDIA T4 GPU (16GB) ile gerçekleştirdik.

1. Mutfağı Hazırlamak

Öncelikle popüler açık kaynaklı araçlarımızı kuruyoruz: Hugging Face transformers, eğitim döngüsü için trl ve büyük bir sunucu kümesine ihtiyaç duymadan modeli ince ayar (fine-tune) yapmamızı sağlayan peft (LoRA). Buradaki pratik çıkarım, LoRA yönteminin donanım kısıtlamalarını aşarak bireysel geliştiricilere bile LLM özelleştirme imkanı tanımasıdır.

2. Malzemeleri Toplamak

Veri seti olarak HongGildongJeon'un kamu malı sürümünü ve modern çevirisini kullandık. Gemma’nın veriyi kolayca anlaması için sistemi konuşma formatında yapılandırdık ve modele net bir sistem yönergesi (system prompt) verdik. Veriyi sohbet şablonuna dönüştürmek, modelin bağlamı korumasına yardımcı olur.

"Öncesi" Görünümü

Herhangi bir eğitim vermeden önce modeli test ettik. Temel modeller güçlü olsa da antik dilbilgisi çok niş bir alandır. Gemma ince ayar yapılmadan önce doğrudan kelime kelime çeviri yapmaya çalıştı ve başarısız oldu.

• Orijinal Klasik Metin: ᄇᆡᆨ씨듯고ᄂᆡ심의탄복왈그근본을ᄀᆞᆷ초지아니ᄒᆞ니장부로다ᄒᆞ고ᄌᆡ삼위로ᄒᆞ더라
• İnsan Çevirisi: 백씨 듣고 내심에 탄복 왈, “그 근본을 감추지 아니하니 장부로다!” 하고, 재삼 위로하더라.
• Gemma’nın İlk Tahmini: "Renk gibi, kalbin övgüsü dedi ki, 'Temel derinden hissedilemez...'"
• İlk Benzerlik Skoru: %4.85 💔

Temel model dilin tarihsel evriminde kaybolmuştu; kesinlikle bir yol haritasına ihtiyacı vardı.

Gemma’yı Özenle Eğitmek

Eğitimi verimli hale getirmek için LoRA (Low-Rank Adaptation) kullandık. Projenin "gizli sosu" olan collate_fn veri toplayıcısını kullanarak sistem ve kullanıcı girdilerini maskeledik (etiketlerini -100 yaptık). Bu yöntem, modelin girdi kısmını ezberlemekle enerji harcamasını önleyip sadece asistanın yanıtına odaklanmasını sağlar. Öğrenme oranını 2e-5 olarak ayarlayıp 5 dönem (epoch) eğittik.

Eğitim Sonrası Sıcak Işıltı

Eğitim tamamlandığında karakter bazlı benzerlik skoru ortalama %79.93'e yükseldi! Model artık klasik metinleri modern Koreceye çok daha akıcı şekilde çevirebiliyor.

• Orijinal Klasik Metin: ᄇᆡᆨ씨듯고ᄂᆡ심의탄복왈그근본을ᄀᆞᆷ초지아니ᄒᆞ니장부로다ᄒᆞ고ᄌᆡ삼위로ᄒᆞ더라
• İnsan Çevirisi: 백씨 듣고 내심에 탄복 왈, “그 근본을 감추지 아니하니 장부로다!” 하고, 재삼 위로하더라.
• Gemma’nın İnce Ayarlı Çevirisi: 백씨듯 고내심에 탄복 왈, “그 근본을 감초지 아니하니 장부로다.” 하고 제삼 위로 하더라.
• Yeni Benzerlik Skoru: %85.71 ✨

Son Düşünceler

Teknoloji bizi sürekli geleceğe itse de en değerli projeler geçmişi daha net görmemizi sağlayanlardır. Hafif bir modeli ince ayar yaparak kültürel mirası koruyan araçlar üretebiliriz. Öğrenme açısından bu çalışma, doğru veri maskeleme ve PEFT teknikleriyle donanım sınırı olmaksızın harika sonuçlar alınabileceğini kanıtlıyor.

Kendi alanınızda ince ayar yaparken şu adımları izleyebilirsiniz:

• Net bir hedef tanımlayın
• Yüksek kaliteli bir veri seti ve değerlendirme planı hazırlayın
• Modelin öğrendiğini doğrulayın
• Metrikler ve insan değerlendirmesiyle analiz edin
• Dağıtıma alın ve yineleyin

Orijinal makaleye buradan ulaşabilirsiniz.