Tinker ile Qwen3-8B Fine-Tuning Süreci: %50'den %76 Doğruluğa Ulaşmak ve API Maliyetlerini Düşürmek

Yapay zeka tabanlı uygulamalar geliştirirken yapılan en yaygın mimari hatalardan biri, gelen her kullanıcı istemini (prompt) doğrudan en gelişmiş ve en pahalı modele yönlendirmektir. Hacktoberfest Açık Kaynak AI Yarışması kapsamında Thinking Machines altyapısı ve açık ağırlıklı (open-weight) Qwen3-8B modeli kullanılarak geliştirilen Complexity Scorer, bu maliyet problemini fine-tuning (ince ayar) yaklaşımıyla çözmeyi hedefliyor. İnce ayar dünyasına giriş niteliğindeki bu proje, hem hızlı çalışan hem de geliştiricilerin API bütçesini koruyan pratik bir yan proje (side hustle) fikri sunuyor.

Ne İnşa Edildi: Complexity Scorer#

Bir JSON verisinden basit bir değer çıkarmak veya metin formatlamak için devasa bir akıl yürütme (reasoning) modeline ihtiyacınız yoktur. Ancak uygulamanız gelen istemin zorluk derecesini önceden bilemediği için tüm trafiği aynı pahalı modele gönderebilir. Complexity Scorer, ana modele istek göndermeden önce devreye giren, ince ayar yapılmış açık ağırlıklı bir modelle desteklenen hafif bir uç noktadır (endpoint). Gelen istemin karmaşıklığını tahmin eder ve 0.00 ile 1.00 arasında bir puan döndürür.

Sistemin karar mekanizmasında kullandığı 5 temel referans seviyesi şunlardır:

• 0.00 - Önemsiz (Trivial): Neredeyse hiç akıl yürütme gerektirmez. Veri çıkarma, biçimlendirme veya deterministik dönüşümler. (Pratik çıkarım: En ucuz ve hızlı modellere yönlendirilmelidir.)
• 0.25 - Kolay (Easy): Sınırlı yorumlama veya birkaç doğrudan adımdan oluşan basit görevler.
• 0.50 - Orta (Moderate): Birden fazla adım, bilgi birleştirme, belirli düzeyde alan bilgisi veya birkaç kısıtlama içeren istemler.
• 0.75 - Zor (Hard): Kapsamlı akıl yürütme, ilk bakışta belli olmayan ödünleşimler (trade-offs), alan uzmanlığı veya birbiriyle etkileşimli çoklu kısıtlamalar.
• 1.00 - Çok Zor (Very Hard): Derin ve çok adımlı akıl yürütme, uzman düzeyinde analiz, yüksek belirsizlik veya birden fazla karmaşık sistem arasındaki etkileşimler. (Pratik çıkarım: Sadece bu seviyedeki istemler en güçlü amiral gemisi modellere gönderilmelidir.)

Mimari Avantajlar ve İş Modeli Yaklaşımı#

Uygulamanız bu skoru alarak isteği hangi yapay zeka modelinin işlemesi gerektiğine dinamik olarak karar verir. Basit istemler ekonomik modellere, karmaşık problemler ise yüksek kapasiteli modellere yönlendirilir (Model Routing).

Yazılım geliştirme açısından bu yaklaşımın sağladığı temel kazanımlar:

• Esnek Entegrasyon: Sadece standart API uç noktalarında değil; yapay zeka ajanlarında (AI agents), kodlama araçlarında ve farklı Modeller: Hangisi, Ne Zaman? sorusuna yanıt arayan her türlü yönlendirme mimarisinde kullanılabilir.
• Yerel Çalıştırma İmkanı: Açık ağırlıklı bir modele dayandığı için, ince ayar yapılmış model uyumlu bir formata dışa aktarıldıktan sonra Ollama gibi araçlarla tamamen yerel (local) ortamda ve sıfır API maliyetiyle çalıştırılabilir.
• Sürdürülebilir SaaS Modeli: Açık kaynaklı model herkesin indirip kullanması için ücretsiz kalırken, gelir modeli barındırılan (hosted) API'nin kullanım kolaylığı üzerine kurulabilir. Küçük bir ücretsiz katman ve belirli sayıda istek içeren aylık abonelikler, geliştiricilerin toplam API faturasını düşürdüğü sürece doğrudan ticari değer üretir.

Demo ve Kod Yapısı#

Projenin açık kaynaklı kodlarına Gramli / complexity-scorer-api deposu üzerinden ulaşılabilir. Üretim ortamında Ölçeklendirme ve Optimizasyon süreçlerini iyileştirmek isteyen ekipler, bu tarz hafif sınıflandırıcı modelleri kendi önyüzlerine ekleyerek hem gecikme sürelerini (latency) hem de maliyetleri önemli ölçüde azaltabilir.