IQuest-Q1: Ajan Tabanlı CLI Sistemleri İçin Temel Model Yeteneklerini Geliştirmek

Modern yazılım geliştirme süreçlerinde komut satırı arayüzleri (CLI) üzerinden otonom olarak çalışan ajanlar giderek daha kritik bir rol üstleniyor. IQuest-Q1, toplamda 320 milyar parametreye sahip olan ancak her adımda yalnızca 15 milyar parametreyi aktif olarak kullanan seyrek bir Mixture-of-Experts (MoE) mimarisiyle bu ihtiyaca yanıt veriyor. Seyrek aktivasyon yapısı, devasa bir bilgi kapasitesini düşük çıkarım maliyeti ve yüksek hızla birleştirerek geliştiricilere pratik bir çalışma ortamı sunuyor.

Üç Aşamalı Geliştirme Süreci#

Modelin ajan yeteneklerini ve kodlama performansını üst seviyeye taşımak için üç aşamalı sistematik bir eğitim süreci uygulanmıştır:

• 1. Kararlı ve Verimli Ön Eğitim (Pre-training): İlk aşamada Stable SplitNorm, Muon ve muP teknikleri iki aşamalı bir eğitim müfredatıyla birleştirilmiştir. Müfredatın ikinci adımında kodlama verilerinin ağırlığı artırılırken, güvenli ve optimal öğrenme oranları (learning rate) arasında geniş bir kararlılık marjı korunmuştur. Pratik Çıkarım: Büyük modeller eğitirken veya ince ayar yaparken veri dağılımını kademeli olarak kodlamaya kaydırmak ve hiperparametre transferi (muP) kullanmak, eğitim sırasındaki çökmeleri önler.
• 2. İnce Ayarlı Ara Eğitim (Mid-training): Bu aşamada veri karışımı farklı alanlara ve formatlara doğru genişletilmiş, aynı zamanda modelin bağlam (context) uzunluğu kademeli olarak artırılmıştır. Pratik Çıkarım: Bir CLI ajanının büyük kod tabanlarını ve uzun terminal çıktılarını tek seferde analiz edebilmesi için bağlam penceresinin kademeli olarak büyütülmesi kritik bir mühendislik yaklaşımıdır.
• 3. Çoklu İskelet ve Çoklu Versiyon Son Eğitim (Post-training): Son aşamada Denetimli İnce Ayar (SFT), alana özgü Pekiştirmeli Öğrenme (RL) ve MOPD yöntemleri farklı ajan iskeletleri (scaffolds) üzerinde bir araya getirilmiştir. Bu sayede tamamlayıcı eğitim sinyalleri entegre edilerek ajan tabanlı kodlama yetenekleri güçlendirilmiştir. Pratik Çıkarım: Ajan geliştirirken modeli tek bir araç yapısına bağımlı kılmak yerine, farklı çalışma çerçeveleriyle (scaffolds) eğitmek, üretim ortamındaki farklı CLI araçlarına adaptasyonu doğrudan artırır.

Model Birleştirme ve Açık Kaynak Katkısı#

Üç aşamalı eğitime ek olarak, farklı aşamalardan elde edilen uzmanlar (experts) ve kontrol noktaları (checkpoints) model birleştirme (model merging) yöntemiyle harmanlanmıştır. Bu işlem yapılırken parametre güncellemeleri arasındaki olası çakışmalar özel olarak sönümlendirilmiştir. Sonuç olarak hem karmaşık kodlama görevlerinde hem de genel problemlerde yüksek başarı gösteren IQuest-Q1, topluluk araştırmalarını ve yazılım geliştirme ekosistemini desteklemek amacıyla açık kaynak olarak paylaşılmıştır.

Edumints Öğrenme Platformu Bağlantısı#

---

Bu konuyu derinlemesine öğrenmek isterseniz: Modeller: Hangisi, Ne Zaman? modülüne göz atın.