Terminal Tarzı Matematiksel Modelleme Kıstası (TB-MathModel): Matematiksel Modelleme İçin İlk Ajan Tabanlı ve Doğrulanabilir Benchmark

Problem Tanımı ve Mevcut Kıstasların Sınırları#

Matematiksel modelleme; açık uçlu bir gerçek dünya problemini varsayımlara, bir modele, bir çözüme ve savunulabilir bir öneriye dönüştürme sürecidir. Üretilen yanıtlar yalnızca güvenilir bir referansa yakın olduklarında ve fiziksel olarak uygulanabilir (feasible) kaldıklarında anlam taşır. Mevcut değerlendirme kıstasları (benchmark'lar) ise ya yalnızca çözücü parçacıklarını (solver fragments) puanlamakta ya da üretilen raporları bir LLM-as-a-Judge yaklaşımıyla değerlendirerek sayısal sonuçları doğrulanmamış bırakmaktadır.

Yazılım mühendisliği ve yapay zeka sistemleri geliştirme açısından bu durum kritik bir ders içerir: Metin tabanlı yargıç modeller, karmaşık mühendislik hesaplamalarında halüsinasyonları veya fiziksel imkansızlıkları gözden kaçırabilir.

TB-MathModel Mimarisi ve Görev Yapısı#

Bu boşluğu doldurmak üzere geliştirilen TB-MathModel (Terminal-style Mathematical Modeling Bench), 2023–2025 yılları arasındaki 18 gerçek CUMCM ve MCM yarışma problemi üzerinden uçtan uca matematiksel modelleme problemlerini aynı anda ajan tabanlı (agentic), doğrulanabilir ve terminal ortamında çalışabilir hale getiren ilk kıstastır:

Konteynerize Terminal Ortamı: Her görev; orijinal problem metnini, resmi ekleri ve görselleri izole bir konteyner terminalinde sunar.
Yapılandırılmış Çıktı (JSON Artifact): Ajan, çalışmasının sonunda tek bir JSON çıktısı döndürür. Bu çıktı, yarışmada "Üstün Başarı" (Outstanding-award) ödülü almış makalenin yeniden üretilen sayısal çekirdeğine karşı puanlanır.

İki Temel Tasarım Seçimi ve Doğrulama Mekanizması#

TB-MathModel'i mevcut yaklaşımlardan ayıran iki temel mimari karar bulunmaktadır:

Yön Duyarlı, Tek Taraflı Puanlama (Direction-Aware, One-Sided Scoring): Referans alınan çapa (anchor) değerini aşan daha iyi çözümler asla cezalandırılmaz.
İki Katmanlı Uygulanabilirlik Doğrulaması (Two-Layer Feasibility Verification): İlk katmanda altı karar verilebilir değişmez (decidable invariant) form üzerinden programatik bir geçit, ikinci katmanda ise 624 Lean 4 kanıt yükümlülüğü bulunur. Katı geçit (hard gate) mekanizması, fiziksel veya mantıksal olarak uygulanamaz yanıtları doğrudan sıfırlar.

Çoklu Referans Değerlendirmesi ve Maliyet/Performans Analizi#

Tek bir doğru cevaba bağımlı kalmamak için her görev, ödüllü insan makalelerinden oluşan bir panele karşı puanlanır; böylece modelin kabul görmüş birçok cevaba yakın olması beklenir. Yedi çok modlu (multimodal) model ve üçer tohum (seed) üzerinden yapılan testlerde:

En güçlü model %64,58 çoklu referans O-Eval skoruna ulaşmıştır.
Görev başına 2,54 dolar maliyetli açık ağırlıklı model ise 100'de 1'i maliyetle %59,81 başarı elde ederek yüksek maliyet verimliliği göstermiştir.

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

TB-MathModel, modellemenin sayısal çekirdeğini uzun ufuklu (long-horizon) ajan yetkinliğini ölçmek ve ajan yörüngelerini (agent trajectories) toplamak için yeniden üretilebilir, makine tarafından denetlenebilir bir sinyale dönüştürür (https://github.com/wxj630/terminal-bench-math-modeling):

Structured Output ve JSON Modu: Ajanların serbest metin yerine makine tarafından doğrulanabilir JSON çıktıları üretmesi, üretim ortamındaki değerlendirme (evaluation) süreçlerini deterministik hale getirir.
Programatik Korkuluklar ve AI Test Stratejileri: LLM yargıçlarına körü körüne güvenmek yerine, Lean 4 gibi biçimsel doğrulama (formal verification) araçları ve katı kural geçitleriyle uygulanamaz çıktıları filtrelemek, Production'da Agent Güvenilirliği için altın standarttır.
Maliyet Optimizasyonu: Açık modellerin doğru araç çağırma (Tool Calling ve Multi-Step Agent'lar) kurgusuyla kapalı modellere çok düşük maliyetle yaklaşabilmesi, model seçimi stratejilerinde hibrit mimarilerin önemini kanıtlar.