---
title: "Terminal Tarzı Matematiksel Modelleme Kıstası (TB-MathModel): Matematiksel Modelleme İçin İlk Ajan Tabanlı ve Doğrulanabilir Benchmark"
url: https://blog.edumints.com/terminal-tarzi-matematiksel-modelleme-kistasi-tb-mathmodel
category: "AI Araçları"
date: 2026-11-07T15:06:16.113Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2611.08237
---

# Terminal Tarzı Matematiksel Modelleme Kıstası (TB-MathModel): Matematiksel Modelleme İçin İlk Ajan Tabanlı ve Doğrulanabilir Benchmark

## Problem Tanımı ve Mevcut Kıstasların Sınırları

Matematiksel modelleme; açık uçlu bir gerçek dünya problemini varsayımlara, bir modele, bir çözüme ve savunulabilir bir öneriye dönüştürme sürecidir. Üretilen yanıtlar yalnızca güvenilir bir referansa yakın olduklarında ve fiziksel olarak uygulanabilir (feasible) kaldıklarında anlam taşır. Mevcut değerlendirme kıstasları (benchmark'lar) ise ya yalnızca çözücü parçacıklarını (solver fragments) puanlamakta ya da üretilen raporları bir **LLM-as-a-Judge** yaklaşımıyla değerlendirerek sayısal sonuçları doğrulanmamış bırakmaktadır.

Yazılım mühendisliği ve yapay zeka sistemleri geliştirme açısından bu durum kritik bir ders içerir: Metin tabanlı yargıç modeller, karmaşık mühendislik hesaplamalarında halüsinasyonları veya fiziksel imkansızlıkları gözden kaçırabilir.

## TB-MathModel Mimarisi ve Görev Yapısı

Bu boşluğu doldurmak üzere geliştirilen **TB-MathModel** (Terminal-style Mathematical Modeling Bench), 2023–2025 yılları arasındaki 18 gerçek **CUMCM** ve **MCM** yarışma problemi üzerinden uçtan uca matematiksel modelleme problemlerini aynı anda ajan tabanlı (agentic), doğrulanabilir ve terminal ortamında çalışabilir hale getiren ilk kıstastır:

- **Konteynerize Terminal Ortamı:** Her görev; orijinal problem metnini, resmi ekleri ve görselleri izole bir konteyner terminalinde sunar.
- **Yapılandırılmış Çıktı (JSON Artifact):** Ajan, çalışmasının sonunda tek bir JSON çıktısı döndürür. Bu çıktı, yarışmada "Üstün Başarı" (Outstanding-award) ödülü almış makalenin yeniden üretilen sayısal çekirdeğine karşı puanlanır.

## İki Temel Tasarım Seçimi ve Doğrulama Mekanizması

TB-MathModel'i mevcut yaklaşımlardan ayıran iki temel mimari karar bulunmaktadır:

- **Yön Duyarlı, Tek Taraflı Puanlama (Direction-Aware, One-Sided Scoring):** Referans alınan çapa (anchor) değerini aşan daha iyi çözümler asla cezalandırılmaz.
- **İki Katmanlı Uygulanabilirlik Doğrulaması (Two-Layer Feasibility Verification):** İlk katmanda altı karar verilebilir değişmez (decidable invariant) form üzerinden programatik bir geçit, ikinci katmanda ise **624 Lean 4** kanıt yükümlülüğü bulunur. Katı geçit (hard gate) mekanizması, fiziksel veya mantıksal olarak uygulanamaz yanıtları doğrudan sıfırlar.

## Çoklu Referans Değerlendirmesi ve Maliyet/Performans Analizi

Tek bir doğru cevaba bağımlı kalmamak için her görev, ödüllü insan makalelerinden oluşan bir panele karşı puanlanır; böylece modelin kabul görmüş birçok cevaba yakın olması beklenir. Yedi çok modlu (multimodal) model ve üçer tohum (seed) üzerinden yapılan testlerde:

- En güçlü model **%64,58** çoklu referans **O-Eval** skoruna ulaşmıştır.
- Görev başına **2,54 dolar** maliyetli açık ağırlıklı model ise 100'de 1'i maliyetle **%59,81** başarı elde ederek yüksek maliyet verimliliği göstermiştir.

## Yazılım Geliştiriciler İçin Pratik Çıkarımlar

**TB-MathModel**, modellemenin sayısal çekirdeğini uzun ufuklu (long-horizon) ajan yetkinliğini ölçmek ve ajan yörüngelerini (agent trajectories) toplamak için yeniden üretilebilir, makine tarafından denetlenebilir bir sinyale dönüştürür (`https://github.com/wxj630/terminal-bench-math-modeling`):

- **Structured Output ve JSON Modu:** Ajanların serbest metin yerine makine tarafından doğrulanabilir JSON çıktıları üretmesi, üretim ortamındaki değerlendirme (evaluation) süreçlerini deterministik hale getirir.
- **Programatik Korkuluklar ve AI Test Stratejileri:** LLM yargıçlarına körü körüne güvenmek yerine, **Lean 4** gibi biçimsel doğrulama (formal verification) araçları ve katı kural geçitleriyle uygulanamaz çıktıları filtrelemek, **Production'da Agent Güvenilirliği** için altın standarttır.
- **Maliyet Optimizasyonu:** Açık modellerin doğru araç çağırma (**Tool Calling ve Multi-Step Agent'lar**) kurgusuyla kapalı modellere çok düşük maliyetle yaklaşabilmesi, model seçimi stratejilerinde hibrit mimarilerin önemini kanıtlar.

[](https://huggingface.co/papers/2611.08237)

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2611.08237)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/terminal-tarzi-matematiksel-modelleme-kistasi-tb-mathmodel