---
title: "Veritabanı Değerlendirmesini RL Ödüllerine Dönüştürmek: ThinkingBox ile Ajanların Eğitim Sonrası Geliştirilmesi"
url: https://blog.edumints.com/veritabani-degerlendirmesini-rl-odullerine-donusturmek-thinkingbox-ile
category: "Backend"
date: 2026-10-23T07:06:50.437Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Blog"
source_url: https://huggingface.co/blog/microsoft/thinkingbox-training
---

# Veritabanı Değerlendirmesini RL Ödüllerine Dönüştürmek: ThinkingBox ile Ajanların Eğitim Sonrası Geliştirilmesi

Microsoft ve Hugging Face iş birliğiyle hazırlanan bu çalışma, ilk blog yazımız olan *"Ajan Bitti Dedi, Veritabanı Katılmadı"* (The Agent Said It Was Done. The Database Disagreed) makalesinin devamı niteliğindedir. **ThinkingBox-Training** artık GitHub üzerinde erişime açılmıştır.

**ThinkingBox**, bir yapay zeka ajanının çalışmasını nihai veritabanı durumunu beklenen sonuçla karşılaştırarak değerlendirmek için geliştirildi. Ardından, aynı çalıştırılabilir (executable) doğrulama sinyalini **ThinkingBox-Bench** dışındaki eğitim görevlerinde bir ödül (reward) mekanizması olarak kullandık. **Qwen3.8-27B** modelinde ortalama başarı oranı %51,70'ten %60,78'e yükselirken, 50 GRPO adımı sonucunda yirmi denemenin tamamında hatasız tamamlanan görev sayısı 38'den 107'ye çıktı.

## Değerlendiriciden Ödül Fonksiyonuna Geçiş

ThinkingBox'ı, görevini tamamlamadığı halde tamamladığını iddia eden ajanları yakalamak için inşa ettik. **ThinkingBox-Bench** kıyaslama veri setimizdeki 507 görevin her biri, ajana gerçek bir arka uç (backend) ve araç seti sunar; ajanın çalışmasına izin verir ve sonunda veritabanında gerçekte neyin değiştiğini kontrol eder. İlk yazımızda, arka plandaki kargo istisnası hala açıkken bir müşteri talebini "çözüldü" olarak kapatan bir modeli yakalamıştık: Dokuz yetkin görünen araç çağrısı (tool call), ancak tek bir hatalı veritabanı satırı.

Sonrasında inşa ettiğimiz sistemin potansiyelini fark ettik. Çoğu görev için çalıştırılabilir bir kontrol, nihai veritabanı durumundan doğrudan `1` veya `0` döndürebilir. Bu sadece bir değerlendirici (grader) değil, doğrudan bir **ödül fonksiyonudur**.

Böylece kıyaslama seti dışındaki ThinkingBox formatlı görevlerden bir eğitim havuzu oluşturduk ve çalıştırılabilir sonuçlarını ödül olarak kullandık. Buradaki temel zorluk, ajan eğitimi için hangi görevlerin uygun olduğunu seçmekti: Çoğu görev eldeki model için ya zaten çözülmüştür ya da tamamen umutsuzdur; her iki durum da modele hiçbir şey öğretmez. Zorluk kavramı politikaya bağlıdır (policy-relative): Bir görev, mevcut model onu öğrenene kadar zordur. Buna **çevrimdışı politikaya bağlı zorluk (offline policy-relative difficulty)** adını veriyoruz. Eğitim öncesinde temel politikayı (base policy) kullanarak her görevin başarı olasılığını bir kez tahmin ettik ve seçilen eğitim havuzunu tüm süreç boyunca sabit tuttuk.

## Eğitim Sonrasında Neler Oldu?

Eğitim havuzunu oluşturmak için çevrimdışı politikaya bağlı zorluk yaklaşımını kullandık ve ardından **Qwen3.8-27B** modelini 50 adım boyunca **GRPO** ile ince ayara (fine-tuning) tabi tuttuk. Özetlemek gerekirse, 507 kıyaslama görevinin her birini 20 kez değerlendiriyoruz:

- **Observed 20/20 (20/20 Gözlemlenen Başarı):** Kaydedilen her denemeyi hatasız geçen görevlerin oranı 38 görevden (%7,50) 107 göreve (%21,10) yükseldi (**+69 görev**).
- **pass@1 (Başarılı Denemeler):** Tüm 10.140 deneme üzerindeki ortalama başarı 5.242'den (%51,70) 6.163'e (%60,78) çıktı (**+9,08 puan**).
- **pass@20 (En Az Bir Kez Çözülen Görevler):** En az bir kez çözülen görevlerin oranı 453'ten (%89,35) 446'ya (%87,97) geriledi (**-7 görev**).

Eğitim süreci, en az bir kez çözülme kapsamında küçük bir düşüşe neden olurken, **tekrarlanabilir başarıyı** keskin bir şekilde artırdı.

## Yazılım Geliştirme ve Pratik Çıkarımlar

Modern yazılım mühendisliğinde ve **Production'da Agent Güvenilirliği** süreçlerinde bu bulgular kritik dersler barındırır:

- **Yanıltıcı Loglar Yerine Durum Doğrulaması:** Çok adımlı ajanlar (Multi-Step Agents) doğru API çağrıları yapıyor gibi görünse de sistem durumunu bozabilir. **AI Test Stratejileri** kurgularken ajanın metin çıktısına değil, veritabanındaki somut durum değişikliğine (state mutation) odaklanılmalıdır.
- **Tutarlılık ve Güvenilirlik:** Üretim ortamında bir ajanın görevi 20 denemede 1 kez çözmesi (`pass@20`) yeterli değildir; her seferinde hatasız çözmesi (`Observed 20/20`) gerekir. Veritabanı tabanlı RL ödülleri, rastgele başarıyı üretim kalitesinde tekrarlanabilir güvenilirliğe dönüştürür.
- **Verimli Eğitim Havuzu Seçimi:** Modeli eğitirken çok kolay veya imkansız görevleri elemek, hesaplama maliyetini düşürür ve öğrenme sinyalini maksimize eder.

---

**Kaynak:** Hugging Face Blog (https://huggingface.co/blog/microsoft/thinkingbox-training)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/veritabani-degerlendirmesini-rl-odullerine-donusturmek-thinkingbox-ile