---
title: "OpenFrontiers: Açık Araştırma Problemleri Koleksiyonu ve Bilimsel Yeniden Keşif İçin Bir Değerlendirme Ölçütü"
url: https://blog.edumints.com/openfrontiers-acik-arastirma-problemleri-koleksiyonu-ve-bilimsel
category: "Makine Öğrenmesi"
date: 2026-11-08T09:06:20.413Z
publisher: Edumints Blog
lang: tr-TR
source_name: "Hugging Face Papers"
source_url: https://huggingface.co/papers/2610.37739
---

# OpenFrontiers: Açık Araştırma Problemleri Koleksiyonu ve Bilimsel Yeniden Keşif İçin Bir Değerlendirme Ölçütü

## Araştırma Düzeyinde LLM Değerlendirmesi ve OpenFrontiers

Büyük dil modelleri (LLM'ler) araştırma düzeyindeki problemleri çözmede giderek artan bir potansiyel göstermektedir; ancak bu tür problemlerin kapsamlı bir koleksiyonu hâlâ eksiktir ve modelleri araştırma seviyesindeki problemlerde değerlendirmek zorluğunu korumaktadır. **OpenFrontiers**, açık araştırma problemlerinden oluşan yapılandırılmış bir derlemi (corpus), matematik alanında yakın zamanda çözülmüş problemlerin geriye dönük bir değerlendirme ölçütü (benchmark) ile birleştiren disiplinlerarası bir kaynak olarak sunulmaktadır.

## Veri Seti ve Benchmark Yapısı

OpenFrontiers, bilimsel problemlerin takibi ve doğrulanması için iki temel bileşen sunar:

- **Geniş Problem Derlemi:** Toplam **12.151 problem** için problem ifadelerini, bağlamı, kaydettiği ilerlemeyi ve diğer kritik bilgileri yapılandırılmış biçimde kayıt altına alır.
- **Değerlendirme Ölçütü (Benchmark):** 2026 yılında çözülmüş **110 problem** ve hâlâ açık olan **90 problem** olmak üzere toplam **200 problem** içerir. Her bir problem, otomatik yoklamalar (automated probes) ve iki bağımsız inceleme ile kontrol edilen bir **Lean 4** ifadesine sahiptir.
- **HQ-50 Alt Kümesi:** Kalite puanı ve benzeri kriterlere dayalı olarak daha ileri düzeyde filtrelenmiş yüksek kaliteli 50 problemlik bir alt kümedir.

## Değerlendirme Protokolü ve Ajan Performansı

Değerlendirme protokolü, biçimsel kanıtları (formal proofs) izole bir **sandbox** ortamında iki bağımsız doğrulayıcı (checker) ile üç farklı koşul altında puanlar:

- **Closed-book (Kapalı kitap):** Dış kaynak erişimi olmadan sadece modelin kendi bilgisiyle çözüm üretmesi.
- **Frozen-retrieval (Dondurulmuş erişim):** Belirli bir zamana kadar sabitlenmiş bilgi havuzundan yararlanma.
- **Live-web (Canlı web):** Güncel internet erişimiyle çözüm arama.

Standartlaştırılmış bir bütçe altında **HQ-50** alt kümesi üzerinde **yedi LLM ajanı** değerlendirildiğinde çarpıcı bulgular ortaya çıkmıştır: Kapalı kitap (closed-book) koşulunda bilimsel yeniden keşif oldukça nadirdir ve çözülmüş 40 problemden **en fazla 7'sinde** başarı sağlanabilmiştir. Buna karşılık, canlı web (live-web) koşulundaki başarı ise büyük ölçüde yayınlanmış mevcut çözümlerin internetten getirilmesini (retrieval) yansıtmaktadır.

## Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar

Geniş bir araştırma problemi derlemini, belgelenmiş çözümlere sahip biçimsel olarak puanlanan bir değerlendirme alt kümesiyle ilişkilendiren **OpenFrontiers**, araştırma düzeyinde yeniden keşfi ölçmek ve açık bilimsel problemleri çözmeye yönelik ilerlemeyi incelemek için sağlam bir temel sunar. Yazılım mühendisliği ve yapay zeka sistemleri geliştirenler için bu çalışmadan çıkarılabilecek pratik dersler şunlardır:

- **Veri Sızıntısı ve Gerçek Akıl Yürütme Ayrımı:** Canlı web erişimli ajanların başarısının çoğunlukla mevcut çözümleri bulmaktan ibaret olması, **AI Test Stratejileri** ve **Golden Dataset Oluşturma** süreçlerinde eğitim verisi sızıntısını (data contamination) önlemenin önemini gösterir. Modellerin gerçekten akıl yürütüp yürütmediğini anlamak için kapalı kitap ve zaman-kısıtlı test senaryoları kurgulanmalıdır.
- **Deterministik Doğrulama ve Sandbox Güvenliği:** LLM çıktılarının **Lean 4** gibi biçimsel dillerle ve iki bağımsız kontrolcüyle izole bir sandbox içinde değerlendirilmesi, **Production'da Agent Güvenilirliği** için kritik bir mimari örnektir. Kod üreten veya karmaşık mantıksal kararlar alan ajanları sadece başka bir LLM ile değerlendirmek yerine, derleyici ve biçimsel doğrulayıcılarla test etmek hatasızlığı garantiler.
- **Standart Bütçe ile Ajan Kıyaslaması:** Yedi farklı LLM ajanının standart bir bütçe altında kıyaslanması, **Modeller: Hangisi, Ne Zaman?** ve **İleri Akıl Yürütme Teknikleri** bağlamında maliyet-performans analizinin üretim ortamındaki önemini vurgular.

Veri setine ve değerlendirme ölçütüne `https://huggingface.co/collections/FlippyDora/openfrontiers` adresinden ulaşılabilir.

---

**Kaynak:** Hugging Face Papers (https://huggingface.co/papers/2610.37739)
**Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/openfrontiers-acik-arastirma-problemleri-koleksiyonu-ve-bilimsel