Veritabanı Değerlendirmesini RL Ödüllerine Dönüştürmek: ThinkingBox ile Ajanların Eğitim Sonrası Geliştirilmesi

Microsoft ve Hugging Face iş birliğiyle hazırlanan bu çalışma, ilk blog yazımız olan "Ajan Bitti Dedi, Veritabanı Katılmadı" (The Agent Said It Was Done. The Database Disagreed) makalesinin devamı niteliğindedir. ThinkingBox-Training artık GitHub üzerinde erişime açılmıştır.

ThinkingBox, bir yapay zeka ajanının çalışmasını nihai veritabanı durumunu beklenen sonuçla karşılaştırarak değerlendirmek için geliştirildi. Ardından, aynı çalıştırılabilir (executable) doğrulama sinyalini ThinkingBox-Bench dışındaki eğitim görevlerinde bir ödül (reward) mekanizması olarak kullandık. Qwen3.8-27B modelinde ortalama başarı oranı %51,70'ten %60,78'e yükselirken, 50 GRPO adımı sonucunda yirmi denemenin tamamında hatasız tamamlanan görev sayısı 38'den 107'ye çıktı.

Değerlendiriciden Ödül Fonksiyonuna Geçiş#

ThinkingBox'ı, görevini tamamlamadığı halde tamamladığını iddia eden ajanları yakalamak için inşa ettik. ThinkingBox-Bench kıyaslama veri setimizdeki 507 görevin her biri, ajana gerçek bir arka uç (backend) ve araç seti sunar; ajanın çalışmasına izin verir ve sonunda veritabanında gerçekte neyin değiştiğini kontrol eder. İlk yazımızda, arka plandaki kargo istisnası hala açıkken bir müşteri talebini "çözüldü" olarak kapatan bir modeli yakalamıştık: Dokuz yetkin görünen araç çağrısı (tool call), ancak tek bir hatalı veritabanı satırı.

Sonrasında inşa ettiğimiz sistemin potansiyelini fark ettik. Çoğu görev için çalıştırılabilir bir kontrol, nihai veritabanı durumundan doğrudan 1 veya 0 döndürebilir. Bu sadece bir değerlendirici (grader) değil, doğrudan bir ödül fonksiyonudur.

Böylece kıyaslama seti dışındaki ThinkingBox formatlı görevlerden bir eğitim havuzu oluşturduk ve çalıştırılabilir sonuçlarını ödül olarak kullandık. Buradaki temel zorluk, ajan eğitimi için hangi görevlerin uygun olduğunu seçmekti: Çoğu görev eldeki model için ya zaten çözülmüştür ya da tamamen umutsuzdur; her iki durum da modele hiçbir şey öğretmez. Zorluk kavramı politikaya bağlıdır (policy-relative): Bir görev, mevcut model onu öğrenene kadar zordur. Buna çevrimdışı politikaya bağlı zorluk (offline policy-relative difficulty) adını veriyoruz. Eğitim öncesinde temel politikayı (base policy) kullanarak her görevin başarı olasılığını bir kez tahmin ettik ve seçilen eğitim havuzunu tüm süreç boyunca sabit tuttuk.

Eğitim Sonrasında Neler Oldu?#

Eğitim havuzunu oluşturmak için çevrimdışı politikaya bağlı zorluk yaklaşımını kullandık ve ardından Qwen3.8-27B modelini 50 adım boyunca GRPO ile ince ayara (fine-tuning) tabi tuttuk. Özetlemek gerekirse, 507 kıyaslama görevinin her birini 20 kez değerlendiriyoruz:

• Observed 20/20 (20/20 Gözlemlenen Başarı): Kaydedilen her denemeyi hatasız geçen görevlerin oranı 38 görevden (%7,50) 107 göreve (%21,10) yükseldi (+69 görev).
• pass@1 (Başarılı Denemeler): Tüm 10.140 deneme üzerindeki ortalama başarı 5.242'den (%51,70) 6.163'e (%60,78) çıktı (+9,08 puan).
• pass@20 (En Az Bir Kez Çözülen Görevler): En az bir kez çözülen görevlerin oranı 453'ten (%89,35) 446'ya (%87,97) geriledi (-7 görev).

Eğitim süreci, en az bir kez çözülme kapsamında küçük bir düşüşe neden olurken, tekrarlanabilir başarıyı keskin bir şekilde artırdı.

Yazılım Geliştirme ve Pratik Çıkarımlar#

Modern yazılım mühendisliğinde ve Production'da Agent Güvenilirliği süreçlerinde bu bulgular kritik dersler barındırır:

• Yanıltıcı Loglar Yerine Durum Doğrulaması: Çok adımlı ajanlar (Multi-Step Agents) doğru API çağrıları yapıyor gibi görünse de sistem durumunu bozabilir. AI Test Stratejileri kurgularken ajanın metin çıktısına değil, veritabanındaki somut durum değişikliğine (state mutation) odaklanılmalıdır.
• Tutarlılık ve Güvenilirlik: Üretim ortamında bir ajanın görevi 20 denemede 1 kez çözmesi (pass@20) yeterli değildir; her seferinde hatasız çözmesi (Observed 20/20) gerekir. Veritabanı tabanlı RL ödülleri, rastgele başarıyı üretim kalitesinde tekrarlanabilir güvenilirliğe dönüştürür.
• Verimli Eğitim Havuzu Seçimi: Modeli eğitirken çok kolay veya imkansız görevleri elemek, hesaplama maliyetini düşürür ve öğrenme sinyalini maksimize eder.