MAI-Gym: Mobil ve Bilgisayar Ortamlarında GUI Ajan Değerlendirmesi ve Pekiştirmeli Öğrenme Eğitimi İçin Açık, Hepsi Bir Arada Platform

Giriş ve Temel Zorluklar#

Doğrulanabilir ödüllerle çevrimiçi pekiştirmeli öğrenme (Online Reinforcement Learning - RL), matematik, kodlama ve araç kullanımı (tool use) alanlarında hızlı bir ilerleme sağlamıştır. Ancak bu başarıyı grafiksel kullanıcı arayüzü (GUI) ajanlarına ölçeklendirmek, etkileşimli ortamların yüksek maliyeti ve gerçekçi eğitim görevlerinin kıtlığı nedeniyle hala büyük bir zorluktur.

Bu sorunu çözmek amacıyla geliştirilen MAI-Gym, mobil, bilgisayar ve web ortamlarında GUI ajanı değerlendirmesini, veri toplamayı ve çevrimiçi RL eğitimini birleştiren açık kaynaklı, hepsi bir arada bir platformdur.

MAI-Gym Mimarisi ve Temel Yetenekleri#

MAI-Gym, sadece ölçeklenebilir bir altyapı sunmakla kalmaz, aynı zamanda yazılım ve yapay zeka mühendisliği süreçlerini standartlaştıran kapsamlı özellikler içerir:

• Birleşik Rollout Hattı: Paylaşılan bir çalışma hattı (shared rollout pipeline) aracılığıyla hem değerlendirme hem de eğitim süreçlerinde tutarlı ajan davranışı garanti edilir.
• Yüksek Ölçeklenebilirlik ve Kıyaslama: Platform, yerleşik 10 farklı kıyaslama (benchmark) testini destekler ve 20.000 paralel ortam örneğine kadar ölçeklenebilir.
• Otomatik Görev ve Uygulama Sentezi: Sıfırlanabilir sahte (mocked) uygulamalar ve çalışma zamanında doğrulanan görev doğrulayıcılarına (execution-validated task verifiers) sahip tutarlı çapraz uygulama dünyaları dahil olmak üzere, çeşitli GUI uygulamalarının ve zorlu görevlerin otomatik sentezlenmesini sağlar.
• MAI-Gym-9B Modeli: Platform kullanılarak eğitilen birleşik 9 milyar parametreli mobil ve bilgisayar kullanım ajanı MAI-Gym-9B, 10B altı açık GUI ajanları arasında MobileWorld üzerinde %78.4 ve OSWorld-Verified üzerinde %76.2 başarı oranıyla en gelişmiş (state-of-the-art) performansa ulaşmıştır.
• Simülasyondan Gerçek Dünyaya Transfer: Sahte bir tren bileti uygulamasında gerçekleştirilen RL eğitimi gerçek dünyadaki karşılığına başarıyla aktarılmış ve fiziksel bir telefondaki görev başarısını %28.8'den %48.1'e çıkarmıştır.
• Açık Kaynak Ekosistemi: Tekrarlanabilir araştırmaları desteklemek adına çatı (framework), sentez yetenekleri, sahte uygulamalar, 2.000 doğrulanmış görev ve model ağırlıkları açık olarak paylaşılmıştır.

Yazılım Geliştirme ve Mühendislik Açısından Pratik Çıkarımlar#

Edumints öğrenme yolculuğunda özellikle Production'da Agent Güvenilirliği, AI Test Stratejileri ve Ölçeklendirme ve Optimizasyon konularıyla doğrudan kesişen bu çalışma, geliştiricilere kritik dersler sunmaktadır:

• Mock Ortamların Gücü: Gerçek sistemler üzerinde ajan eğitmek hem maliyetli hem de risklidir. Sıfırlanabilir sahte (mocked) uygulamalar oluşturmak, güvenli test ve eğitim süreçlerinin gerçek dünyaya (%28.8'den %48.1'e yükselen başarı gibi) doğrudan transfer edilebildiğini kanıtlamaktadır.
• Eğitim ve Değerlendirme Tutarlılığı: Yazılım geliştirmede test ve üretim ortamları arasındaki farklar ajan performansını düşürür. Paylaşılan bir rollout pipeline kullanmak, değerlendirme ile eğitim arasındaki davranış kaymalarını önler.
• Doğrulanabilir Görev Tasarımı: Çok adımlı ajanların (Multi-Step Agents) başarısını ölçmek için çalışma zamanı doğrulayıcıları (execution-validated verifiers) kullanmak, güvenilir ödül mekanizmaları ve regresyon testleri kurmanın en etkili yoludur.