AutoSynthData: Kurumsal Ajanlar İçin Eğitim Verisi Üretimi

Kurumlar, kendi iç sistemlerine, operasyonel kurallarına ve veri durumlarına kusursuz uyum sağlayan yapay zeka ajanlarına ihtiyaç duyar. Geniş yeteneklere sahip bir temel model bile belirli bir kurumsal ortamda zorlanabilir; bir iş akışını yanlış yönetebilir, araçları hatalı kombine edebilir veya kurumsal kısıtlamaları ihlal edebilir. Kurumların iyileştirmesi gereken temel alanlar tam olarak bu zayıflıklardır. Buradaki asıl zorluk, söz konusu zayıflıkları model için zengin bir eğitim verisine dönüştürebilmektir. Tekil bir başarısızlık bize bir ipucu verir; ancak etkili bir model eğitimi, aynı yetkinliği farklı senaryolarda sınayan çok sayıda yeni görev gerektirir. Bu görevlerin hedef ortamda tamamlanabilir olması, gerçek kullanıcı taleplerini yansıtması ve başarıyı denetleyen güvenilir bir doğrulama mekanizmasına sahip olması şarttır.

ServiceNow CoreAI ekibi, bu yetenek açıklarını eğitim verisine dönüştürmek amacıyla AutoSynthData sistemini geliştirdi. Sistem, hedef modelin başarısızlıklarını ve daha güçlü bir öğretmen (teacher) modelin başarılarını analiz ederek modelin sırada neyi öğrenmesi gerektiğine karar verir; ardından bu yetkinlikleri pekiştiren yeni görevler üretir ve doğrular. Model geliştikçe, müfredat modelin zorlanmaya devam ettiği yeni alanlara doğru kayar. Bu yaklaşım, EnterpriseOps Gym veri seti üzerinde somutlaştırılmıştır.

Yararlı Bir Ajanik Görevi Ne Oluşturur?

Ajanik bir ortam, ajanın içinde çalıştığı dünyayı tanımlar: gözlemleyip değiştirebileceği durumlar, çağırabileceği araçlar ve API'ler ile eylemlerinin sonucunda oluşan durum geçişleri. Bu ortamdaki görevler şu soyutlama ile ifade edilir:

görev = (sistem spesifikasyonu, kullanıcı istemi, doğrulayıcı)

Sistem Spesifikasyonu (System Specification)

Sistem spesifikasyonu; sistem talimatları, çevre politikaları ve gerektiğinde önceden tanımlanmış veritabanı veya bilgi tabanı gibi başlangıç durumlarını kapsayarak ajanın çalışma sınırlarını çizer. Bu şartname, ortamın desteklediği eylemler ve araçlarla tam uyumlu olmalı; gereksiz zorluk yaratmak amacıyla eklenmiş keyfi kısıtlamalardan kaçınmalıdır.

Ajan Odaklı Görev (Agent-Facing Task)

Kullanıcı istemi, kullanıcının ajandan neyi başarmasını istediğini ve kullanıcı düzeyindeki kısıtlamaları belirler. Sentetik olarak üretilen bir görevin mutlaka şu üç özelliği karşılaması gerekir:

Yapılabilirlik (Feasibility): Sistem spesifikasyonuna uyarak kullanıcı istemini karşılayan en az bir geçerli eylem yörüngesi (trajectory) bulunmalıdır. Ulaşılamayan araçlara, imkânsız durum geçişlerine veya sistem kurallarınca yasaklanmış eylemlere dayanan görevler elenir.
Gerçekçilik (Realism): İstem, hedef kurumsal ortamdaki bir kullanıcının isteyebileceği mantıklı iş akışlarını yansıtmalıdır; çalıştırılabilir eylemler uzayı, gerçekçi senaryolardan çok daha geniştir.
Zorluk (Difficulty): Görev, ajanın mevcut zayıflıklarını hedef almalıdır. Ajanın zaten güvenilir şekilde çözebildiği görevler modele yeni bir öğrenme sinyali sağlamaz.

Yazılım Geliştirme ve Öğrenme Açısından Çıkarımlar

Yazılım geliştiriciler için AutoSynthData yaklaşımı, ajan geliştirme sürecinde deneme-yanılma yöntemini yapılandırılmış bir müfredat öğrenimine (curriculum learning) dönüştürmenin yolunu sunar. Bir ajanı genel veriyle eğitmek yerine, ortam hatalarını tespit edip bunlara yönelik sentetik görevler üretmek, kuruma özel "Golden Dataset" oluşturmayı son derece verimli kılar. Otomatik doğrulayıcılar (verifiers) ile desteklenen bu döngü, üretim aşamasında tool-calling hatalarını ve kural ihlallerini proaktif şekilde önleyen sağlam bir test ve ince ayar (fine-tuning) mimarisi kurmayı sağlar.

Orijinal kaynağa buradan ulaşabilirsiniz.

Bu konuyu derinlemesine öğrenmek isterseniz: Golden Dataset Oluşturma modülüne göz atın.