Eğitim Sonrası Aşamasından Önce Ajan Yeteneklerini Değerlendirmek: Uçtan Uca Bir Yaklaşım

Modern büyük dil modelleri (LLM'ler) için otonom ajan (agentic) yetenekleri her geçen gün daha kritik hale geliyor. Ancak bu yetenekleri henüz ön eğitim (pretraining) aşamasındayken ölçmek oldukça zorlu bir süreçtir. Mevcut değerlendirme yaklaşımları genellikle statik yörünge görevlerine veya olasılık tabanlı dolaylı ölçümlere (proxy) dayanır. Bu yöntemler hafif ve hızlı olsa da, temel (base) modellerin etkileşimli ortamlarda nasıl davrandığına dair oldukça sınırlı bir görünürlük sunar.

ASAP Çerçevesi ve Uçtan Uca Değerlendirme#

Bu boşluğu doldurmak için geliştirilen ASAP (Agent Scaffold Adaptation for Pretraining Evaluation), ön eğitimli temel modellerden uçtan uca görevlerde ajan davranışlarını ortaya çıkarmak ve değerlendirmek için tasarlanmış hafif bir çerçevedir. ASAP, temel modelleri sohbet tarzı (chat-style) ajanlara dönüştürmeye çalışmak yerine, modelin doğal metin tamamlama (completion) arayüzünü korur. Mevcut ajan iskelelerini (scaffolds) şu üç temel bileşenle uyarlar:

• Yapılandırılmış Yörünge Devamlılığı: Modelin önceki adımları takip ederek görev akışını doğal bir metin tamamlama süreci gibi sürdürmesini sağlar.
• Kısa Referans Önekleri (Prefixes): Modeli karmaşık talimatlara boğmadan, beklenen ajan formatına yönlendiren minimal başlangıç ipuçları sunar.
• Minimal Kurtarma Mekanizmaları: Model etkileşim sırasında hata yaptığında veya döngüye girdiğinde süreci tamamen sıfırlamak yerine basit müdahalelerle görevde tutar.

Davranışsal Analiz ve Eğitim Aşamaları#

Yazılım mühendisliği ve derin araştırma (deep-research) kıyaslamalarında (benchmarks) test edilen ASAP, farklı temel modeller ve ön eğitim kontrol noktaları (checkpoints) arasında ayırt edici bir uçtan uca performans sunar. Toplam skorların ötesinde, ASAP model tarafından üretilen yürütme yörüngelerini (execution trajectories) açığa çıkararak şu kritik süreçlerin analiz edilmesine olanak tanır:

• Keşif ve Düzenleme: Modelin kod tabanını veya bilgi kaynağını nasıl taradığı ve değişiklikleri nasıl uyguladığı.
• Test Etme ve Kurtarma: Üretilen çıktıyı doğrulama ve karşılaşılan hatalardan geri dönme kapasitesi.
• Görev Tamamlama: Eğitim aşamaları ilerledikçe modelin nihai hedefe ulaşma kararlılığı.

Bu yörüngeler, ajanla ilgili yeteneklerin ön eğitim sırasında nasıl geliştiğine ve eğitim sonrası (post-training) aşamadan sonra yürütme kalıplarının nasıl farklılaştığına dair net bir davranışsal görünüm sunar.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

Mühendislik ekipleri ve AI geliştiricileri için bu araştırmadan çıkarılabilecek önemli pratik dersler vardır:

• Erken Teşhis İmkanı: Bir modelin ajan potansiyelini görmek için maliyetli ince ayar (fine-tuning) veya RLHF süreçlerini beklemek zorunda değilsiniz; doğru iskele (scaffold) tasarımıyla temel modeller de etkileşimli görevlerde test edilebilir.
• Sadece Skora Değil, Yörüngeye Odaklanın: Ajan sistemlerini değerlendirirken yalnızca nihai başarı oranına bakmak yanıltıcıdır. Modelin keşif, kod düzenleme, test çalıştırma ve hata kurtarma adımlarını (loglarını) ayrı ayrı izlemek, sistemin nerede kırıldığını anlamak için en pratik teşhis yöntemidir.
• Arayüz Uyumu: Temel modelleri doğal yapılarına uygun tamamlama (completion) formatında kullanmak ve minimal hata kurtarma katmanları eklemek, karmaşık sistemlerde güvenilirliği hızla artırır.

Sonuçlar, uçtan uca ajan değerlendirmesinin etkileşimli model davranışının pratik bir teşhisini sağlayarak geleneksel ön eğitim kıyaslamalarını güçlü bir şekilde tamamlayabileceğini göstermektedir.