Work2Skill: Yeniden Kullanılabilir Ajan Becerileri İçin İnsan GUI Deneyimini Yakalama

Giriş ve Problem Tanımı#

Bilgisayar kullanan otonom ajanlar (computer-use agents), grafiksel kullanıcı arayüzlerinde (GUI) giderek daha karmaşık görevleri başarıyla gerçekleştirebilmektedir. Buna rağmen, insan alan bilgisi (domain knowledge) gerektiren yabancı yazılımlar ve karmaşık iş akışları mevcut yapay zeka sistemleri için önemli bir zorluk olmaya devam etmektedir.

İnsan gösterimleri (demonstrations), prosedürel bilgiyi doğrudan GUI etkileşim alanı üzerinden aktarır. Ancak bu etkileşimlerin bir ajan tarafından yeniden kullanılabilmesi; eylemlerin bağlam içinde doğru yorumlanmasını ve genel iş akışı kurallarının göreve özgü anlık detaylardan ayrıştırılmasını zorunlu kılar.

Work2Skill Çerçevesi ve Temel Bileşenleri#

Bu problemleri çözmek amacıyla, insan GUI deneyimini yakalayarak otonom sistemler için yeniden kullanılabilir becerilere dönüştüren Work2Skill çerçevesi geliştirilmiştir. Çalışma kapsamındaki temel bileşenler şunlardır:

• WorkRecorder Altyapısı: Ekran video kayıtlarını, fare ve klavye girdi olaylarını ve erişilebilirlik ağacı (accessibility-tree) verilerini senkronize şekilde hizalayarak insan etkileşimini toplayan veri altyapısıdır.
• WorkDemo-350 Veri Seti: WorkRecorder kullanılarak inşa edilen; eksiksizlik ve görev başarısı kriterleriyle taranmış 350 insan masaüstü GUI gösterimini barındıran ilk senkronize çok modlu veri setidir.
• Ajan Tabanlı Beceri Çıkarımı: İş akışı kurallarını, adımlar arası bağımlılıkları ve tamamlama kontrollerini yakalayan yeniden kullanılabilir beceriler üretmek için kanıtları talep üzerine (on-demand) inceleyen yöntemdir.

Deneysel Sonuçlar ve Başarım#

Dört farklı yürütme modeli, paylaşılan çalışma koşulları altında her yöntemin ürettiği becerilerle donatıldığında, Work2Skill en yüksek skorlara ve başarı oranlarına ulaşmıştır:

• MyPCBench (Bounded Action): Beceri tanımlanmamış ("No Skill") taban modele kıyasla ortalama 4.67 ile 10.54 puan arasında net artış sağlanmıştır.
• OSWorld-Verified (286 Görevlik Alt Küme): Taban modele kıyasla ortalama 3.11 ile 7.50 puan arasında performans artışı elde edilmiştir.
• Modelin kaynak kodları ve veri seti açık kaynak olarak geliştiricilerin erişimine sunulmuştur.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

• Çok Modlu Telemetri Standardı: GUI ajanları inşa ederken yalnızca ekran görüntüsü almak yetersizdir; erişilebilirlik ağacı ile klavye-fare hareketlerinin senkronize toplanması model kararlılığını doğrudan artırır.
• Görev Ayrıştırma ve Genellenebilirlik: Karmaşık çok adımlı (multi-step) ajan tasarımlarında, iş akışı mantığı ile anlık parametreler ayrıştırılmalı ve yeniden çağrılabilir araç/beceri modülleri haline getirilmelidir.
• Süreç Doğrulama Kontrolleri: Başarılı ajan orkestrasyonunda her adımın bağımlılıkları ve tamamlanma doğrulama adımları (completion checks) sisteme entegre edilmelidir.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Tool Calling ve Multi-Step Agent'lar modülüne göz atın.