Gereksinimler Etkileşime Girdiğinde: Birbirine Bağımlı Spesifikasyonlarla Uzun Ufuklu Kodlamayı Ölçeklendirmek

Gerçek Dünya Yazılım Geliştirmede Çok Boyutlu Gereksinimler#

Gerçek dünyadaki uzun ufuklu (long-horizon) yazılım geliştirme süreçlerinde başarılı olmak için kodlama ajanlarının (coding agents) yalnızca birincil hedefi tamamlaması yeterli değildir. Ajanların; arayüz uyumluluğu (interface compatibility) ve hata yönetimi (error handling) gibi çok boyutlu görev spesifikasyonlarını karşılaması ve tüm bunları mevcut bağımlılıkları (dependencies) bozmadan gerçekleştirmesi gerekir. Ancak mevcut çalışmalar hem nicelik hem de çeşitlilik açısından yeterli spesifikasyona sahip değildir; çoğu zaman karmaşık kısıtlamaları göz ardı ederek yalnızca birincil hedeflere odaklanır.

Görev Sentezlemenin İki Temel Zorluğu#

Bu boşluğu doldurmak amacıyla yeni görevler sentezlemek (task synthesis) iki temel zorluğu beraberinde getirir:

• Yüzeysel Kontrol Listesi Riski: Spesifikasyonları naif bir şekilde eklemek, görevleri birleşik bir akıl yürütmeyi (joint reasoning) zorunlu kılmak yerine basit ve sıradan kontrol listelerine (trivial checklists) indirgeme riski taşır.
• Doğrulama ve Test Güvenilirliği Riski: Birbiriyle etkileşim halindeki bu ince kısıtlamaları doğrulamak, gizli kusurların gözden kaçmasına veya geçerli alternatif çözümlerin yanlışlıkla reddedilmesine yol açabilir.

Çözüm Mimarisi: CodeSpecWeave ve CodeSpecWeave-Bench#

Araştırmacılar bu iki temel sorunu aşmak için zengin ve birbirine bağımlı spesifikasyonlara sahip görevler sentezleyen CodeSpecWeave çerçevesini sunar:

• İkili Ajan Sentez ve Denetim Hattı: Gerçek geliştirici tohumlarına (developer seeds) dayanan bir sentez ajanı (synthesis agent), hem birbirine sıkı sıkıya bağlı görev gereksinimlerini hem de çalıştırılabilir testleri (executable tests) iteratif olarak geliştirir. Eşzamanlı olarak bir inceleme ajanı (review agent), test güvenilirliğini garanti altına almak için birden fazla modelden gelen çözüm yörüngelerini (solution trajectories) denetler.
• Geniş Ölçekli Eğitim ve Pekiştirmeli Öğrenme: Bu veri hattı kullanılarak 2.865 kod deposu (repository) genelinde 4.670 eğitim görevi oluşturulmuştur. Bu görevler üzerinde Pekiştirmeli Öğrenme (Reinforcement Learning) uygulanması, DeepSWE-v1.1 üzerinde temel modele kıyasla performansı önemli ölçüde artırmış ve mevcut referans modelleri büyük farkla geride bırakmıştır.
• CodeSpecWeave-Bench ile Sınırları Ölçmek: Çalışma kapsamında ayrıca 100 görev ve 1.044 spesifikasyondan oluşan titiz bir kıyaslama veri seti olan CodeSpecWeave-Bench hazırlanmıştır. Bu kıyaslama, öncü (frontier) modelleri birbirinden net biçimde ayırmakta ve birbirine bağımlı mühendislik kısıtlamalarını ele alma konusunda hâlâ önemli bir gelişim alanı (headroom) bulunduğunu ortaya koymaktadır.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

Modern yazılım mühendisliği ve Production'da Agent Güvenilirliği ile AI Test Stratejileri açısından bu çalışma kritik dersler barındırır:

• Bağımsız Değil, Etkileşimli Kısıtlamalar Tasarlayın: Tool Calling ve Multi-Step Agent'lar geliştirirken istemleri ve görev tanımlarını birbirinden kopuk maddeler halinde yazmak yerine, arayüz sözleşmeleri ile hata yönetimi senaryolarının birlikte çözülmesini gerektiren bütüncül spesifikasyonlar kurgulayın.
• Testleri Çoklu Çözüm Yörüngeleriyle Doğrulayın: Otomatik testlerin tek bir çözüm yoluna aşırı uyum sağlamasını önlemek için farklı modellerin ürettiği alternatif çözümleri denetleyen çok aşamalı bir doğrulama (review) mekanizması kullanın.
• Gerçek Kod Tabanı Bağımlılıklarını Koruyun: Ajan eğitiminde ve değerlendirmesinde izole kod parçacıkları yerine, gerçek kod depolarındaki mevcut bağımlılıkları kırmadan değişiklik yapmayı ölçen çalıştırılabilir test süreçlerini standart haline getirin.