Gürcüce Dil Kıyaslaması: Kuralları Yıkan Bir Dilde İki Dev Yapay Zeka Laboratuvarının Mücadelesi

Kaggle Benchmarking Challenge kapsamında hazırlanan bu çalışma, yapay zeka ekosisteminin iki öncü aktörü olan OpenAI ve Anthropic modellerini, dilbilgisi kuralları geleneksel kalıplara sığmayan Gürcüce üzerinde kapsamlı bir teste tabi tutuyor. Geliştirici, geçirdiği göz kapağı operasyonu sebebiyle tek gözü bandajlı olmasına ve derinlik algısını yitirmesine rağmen, UFC şampiyonu Michael Bisping'in mücadeleci ruhundan ilham alarak projeyi teslim tarihine eksiksiz yetiştirmeyi başardı.

Neden Gürcüce?#

Gürcüce; bilinen büyük dil ailelerinin hiçbirine ait olmayan, tamamen özgün alfabesi ve zengin morfolojisiyle öne çıkan kadim bir dildir. Ünlü harf bolluğu bakımından fonetik olarak İtalyancayı andırsa da, art arda dizilen sert ünsüz kümeleriyle (örneğin sekiz ünsüzün yan yana geldiği ve "bizi soyuyorsun" anlamına gelen გვფრცქვნი sözcüğü gibi) doğal dil işleme modelleri için aşılması en zor morfolojik engellerden birini oluşturur. Ana dili Gürcüce olanların dahi hatasız konuşmakta zorlandığı bu yapı, LLM'lerin kavrama ve üretim yetkinliklerini sınamak adına benzersiz bir stres testi ortamı sunar.

Kıyaslamada Öne Çıkan 5 Temel Bulgu#

• 1. Gürcüceyi Anlamak Çözüldü, Ancak Üretmek Henüz Değil: Modeller kendilerine verilen Gürcüce girdileri çözümleme ve anlama konusunda yüksek başarı gösterirken; gramer açısından kusursuz, doğal Gürcüce metinler üretme aşamasında belirgin biçimde zorlanmaktadır.
• 2. Sayılar Nihai Bölüm Sonu Canavarıdır: Gürcücenin karmaşık basamak ve sayı türetme kuralları, hem OpenAI hem de Anthropic modellerinin en fazla tutarsızlık sergilediği ve yanıldığı temel alan olmuştur.
• 3. Hatalar Tamamen Gürcüceye Özgü: Karşılaşılan dil anomalileri rastgele halüsinasyonlardan ziyade; dilin kendine has fiil çekimlerine, vaka eklerine ve karmaşık sentaksına dayanan yerel dilbilgisi zaaflarıdır.
• 4. Gürcüce, Claude İçin Daha Fazla Token Demektir: Tokenizer mimarilerindeki ayrışma nedeniyle Anthropic (Claude) modelleri, Gürcüce karakter dizilerini parçalarken OpenAI'a kıyasla çok daha fazla token harcamakta ve bu durum doğrudan API maliyetini yükseltmektedir.
• 5. Ucuz Modeller de Akıllı Olabilir: Kıyaslama sonuçları, yüksek maliyetli amiral gemisi modeller yerine doğru yapılandırılmış ekonomik modellerin de şaşırtıcı düzeyde rekabetçi sonuçlar sunabileceğini ortaya koymaktadır.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

Bir LLM mimarisi seçerken yalnızca standart İngilizce lider tablolarına (leaderboard) güvenmek yanıltıcıdır. Çok dilli sistemler tasarlayan yazılımcıların; hedef dilin morfolojik karmaşıklığını, tokenizer verimliliğini ve modellerin girdi anlama ile çıktı üretme arasındaki başarım farkını bağımsız şekilde ölçümlemesi gerekir. Üretim ortamında doğrudan pahalı modellere yönelmek yerine, spesifik alanlarda doğru değerlendirme (benchmark) süreçleri kurarak küçük ve maliyet odaklı modellerin performansını test etmek en verimli mühendislik yaklaşımıdır.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.