--- title: "Kodlama Ajanı Benchmark'ları Kullanıcıların Görev Akışlarıyla Eşleşmeli" url: https://blog.edumints.com/kodlama-ajani-benchmark-lari-kullanicilarin-gorev-akislariyla category: "Yazılım" date: 2026-10-12T15:22:45.253Z publisher: Edumints Blog lang: tr-TR source_name: "Hugging Face Papers" source_url: https://huggingface.co/papers/2610.09633 --- # Kodlama Ajanı Benchmark'ları Kullanıcıların Görev Akışlarıyla Eşleşmeli ## Giriş ve Üretim Ortamındaki Ajan Oturumları Yapay zeka destekli kodlama ajanlarının değerlendirilmesinde temel hedef, test ortamlarının gerçek dünya yazılım geliştirme koşullarını olabildiğince aslına uygun şekilde yansıtmasıdır. Bu doğrultuda yapılan çalışmada, JetBrains entegre geliştirme ortamlarında (IDE) gerçek yazılım mühendislerinin gerçekleştirdiği 4.782 ajan oturumu toplanmış ve bu veriler **Üretim Oturumları (Production Sessions)** olarak adlandırılmıştır. Çalışmanın odağında etkileşimli ajanlar yer aldığı için, toplam örneklemin %33'ünü oluşturan ve en az üç kullanıcı iletisi içeren uzun oturumlar detaylı biçimde incelenmiştir. ## Gerçek Oturumların Klasik Benchmark'lardan İki Temel Farkı GitHub gibi platformlardaki hata kayıtlarından (issue) türetilen geleneksel benchmark görevleri ile gerçek dünyadaki uzun oturumlar karşılaştırıldığında iki kritik fark öne çıkmaktadır: - **(i) Çok Daha Geniş Bir Görev Türü Yelpazesi:** Kullanıcıların talepleri yalnızca izole bir hatayı çözmekle sınırlı değildir; proje koduna dair sorular sorma, mimari planlama, kod incelemesi (review), yeniden düzenleme (refactoring) ve kod çalıştırma (execution) gibi çok çeşitli görev türlerini kapsar. - **(ii) Oturum Boyunca Görev Türleri Arasında Geçiş:** Yazılım mühendisleri tek bir oturum boyunca bu farklı görev türleri arasında sürekli, dinamik ve akışkan geçişler yaparlar. ## Görev Akışları (Task Flows) ve SWE-TaskFlow İncelenen üç farklı açık etkileşim derleminde (corpora); oturum uzunlukları, görev türleri ve türler arası geçiş dağılımlarını ifade eden **Görev Akışlarının (Task Flows)** belirgin biçimde farklılaştığı görülmektedir. Dolayısıyla, hiçbir tekil etkileşim dağılımı evrensel olarak gerçekçi kabul edilemez. Güvenilir bir değerlendirme için benchmark'lar somut bir hedef kullanım senaryosu tanımlamalı ve ölçümlerini buna göre kalibre etmelidir. Bu ihtiyaca yanıt olarak, sorundan türetilmiş herhangi bir benchmark'ı dönüştürebilen **SWE-TaskFlow** yaklaşımı geliştirilmiştir. Bu yöntem: - Doğrulanmış görevleri ve test paketlerini eksiksiz korur, - Prompt bölme (prompt splitting) ve doğrulanabilir depo soru-cevapları (repository QA) aracılığıyla etkileşimi hedeflenen Görev Akışı'na yönlendirir, - Oluşturulan yörüngeler arasından en uygununu seçmek için **TaskFlow Alignment Score (TFAS)** metriğini kullanır. 700 adet SWE-Bench Pro görevi üzerinde gerçekleştirilen pilot çalışmada, bir görevi ardışık olarak birkaç adımda çözmenin çözüm oranında (resolve rate) istikrarlı bir değişim yaratmaksızın ajan maliyetini yaklaşık iki katına çıkardığı belirlenmiştir. Bu sonuç, etkileşim protokolünün kendisinin değerlendirme sürecinde başlı başına kritik bir boyut olduğunu ortaya koymaktadır. ## Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar - **Maliyet ve Etkileşim Yönetimi:** Geliştiriciler ajanları kullanırken her ek diyalog adımının maliyeti katlayabileceğini, ancak her zaman daha yüksek başarı getirmeyebileceğini bilmelidir. Prompt akışını doğru yapılandırmak bütçe ve performans optimizasyonu için elzemdir. - **Bütüncül Test Stratejileri:** Öğrenenler ve test mühendisleri, ajanları tek adımlı kod tamamlama yerine; soru-cevap, planlama ve refactoring döngülerini içeren gerçekçi senaryolarla test etmelidir. --- Bu konuyu derinlemesine öğrenmek isterseniz: [AI Test Stratejileri](https://edumints.com/kesfet/ai-sistemleri-test-ve-degerlendirme-ragas-promptfo-9hmv) modülüne göz atın. --- **Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2610.09633) **Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/kodlama-ajani-benchmark-lari-kullanicilarin-gorev-akislariyla