Takviyeli Öğrenme (RL) Ortamları Hugging Face Hub'a Hoş Geldi

Takviyeli Öğrenme (Reinforcement Learning - RL) ortamları, ajan tabanlı (agentic) yapay zeka sistemlerine yeni yetenekler kazandırırken, geliştirdiğiniz ajanların performansını ölçmek ve artırmak için güçlü bir zemin sunar. Bu doğrultuda Hugging Face Hub, artık RL ortamları için özel bir alana ve filtreleme sistemine sahiptir.

Bir ortam; ajana belirli bir görev tanımlar, ajanın eylemlerine (actions) gözlemlerle (observations) yanıt verir ve nihai sonucu puanlar. Elde edilen ödüller (rewards), değerlendirme aşamasında ajanın başarısını ölçebilir veya eğitim esnasında bir öğrenme sinyali sağlayabilir. Ortam dahilinde ajan, veri kümeleri olarak temsil edilen bir dizi görevi yürütür. Dolayısıyla ortamlar temelde iki ana parçaya ayrılır: görev kümeleri (tasksets) ve çalışma zamanları (runtimes). Bu ilk sürümde doğrudan görev kümelerine odaklanılmaktadır. Hub'daki bir RL ortamı; ek bir kayıt, yeni bir repo tipi veya kayıt defteri (registry) gerektirmeyen, doğrudan yeni "RL Environments" filtresinde listelenen standart bir veri kümesi deposudur. "Use this dataset" butonu, ortamı ilgili framework içinde çalıştırma komutunu üretir. Harbor, Verifiers ve NVIDIA NeMo Gym gibi çatılar şimdiden Hub'da yer almaktadır.

Ortam Kayıt Defterleri (Registry) Oluşturmayı Bırakın#

Mevcut RL ekosisteminde her araştırma makalesi veya çatı, ortamları keşfetmek için kendi izole yöntemini kullanmaktadır:

• Özel hub'lar (custom hubs),
• Çalışma zamanı kayıt defterleri (runtime registries),
• Bağımsız görev veri setleri,
• Özel veri yükleyicilere sahip GitHub görev listeleri.

Bu parçalı yapı, ortamların silolaşmasına neden olur; bir framework için hazırlanan ortamı diğer kullanıcılar doğrudan yükleyemez ve ortamı elle taşımak (porting) gerekir. Oysa bir ortam temelde görevler, testler, konteynerler ve ödül kurallarından ibarettir; yani üzerinde bir çalışma zamanı koşan veridir. Hub zaten verileri depolar, versiyonlar, erişimini yönetir ve geniş kitlelere sunar. İkinci bir sisteme ihtiyaç yoktur; gereken tek şey "bu veri bir ortamdır ve şu şekilde çalıştırılır" diyebilmektir.

Veri Kümesi Deposundan Ajan Çalıştırmaya#

Bu mimaride görev verileri Hub üzerinde saklanırken, çalışma zamanı ve doğrulayıcı kodları ilgili çatılar tarafından barındırılır:

• Hub'daki Veri Kümesi Deposu: Görevleri, verileri ve depoya dahil edilmişse çalışma zamanı ile doğrulayıcı dosyalarını içerir.
• Çatı Yürütmesi (Framework): Dosyaları yükler; yerel makinenizde ya da bulut altyapısında çalıştırır.
• Ajan ve Ortam: Ajan durum, araçlar ve görev yürütümü ekseninde eylemlerde bulunur; ortamdan gözlemler alır.
• Doğrulayıcı ve Ödül (Verifier & Reward): Çıktıyı puanlar ve değerlendirme ya da eğitim için ödül sinyali üretir.
• Değerlendirme veya Eğitim: Çalıştırmaları skorlar ya da modeli günceller.

Görev verisi Hub'da barınırken çalışma zamanı ve doğrulayıcı kodları repoda veya framework içinde yer alabilir. Çatılar yürütmeyi üstlenirken Hub barındırma, keşif ve versiyonlama işlevini yerine getirir; katalogların mülkiyeti dağıtık kalabilir.

Geliştirici ve Öğrenme Çıkarımı: Ajan geliştiren yazılımcılar için ortamları standart birer veri deposu olarak ele almak, farklı framework'ler arasındaki bağımlılıkları kırar. Görev verisini yürütme motorundan ayırmak, ajan testlerinin taşınabilirliğini ve tekrarlanabilir kıyaslamaları (benchmarks) ciddi oranda kolaylaştırır.