OpenFrontiers: Açık Araştırma Problemleri Koleksiyonu ve Bilimsel Yeniden Keşif İçin Bir Değerlendirme Ölçütü

Araştırma Düzeyinde LLM Değerlendirmesi ve OpenFrontiers#

Büyük dil modelleri (LLM'ler) araştırma düzeyindeki problemleri çözmede giderek artan bir potansiyel göstermektedir; ancak bu tür problemlerin kapsamlı bir koleksiyonu hâlâ eksiktir ve modelleri araştırma seviyesindeki problemlerde değerlendirmek zorluğunu korumaktadır. OpenFrontiers, açık araştırma problemlerinden oluşan yapılandırılmış bir derlemi (corpus), matematik alanında yakın zamanda çözülmüş problemlerin geriye dönük bir değerlendirme ölçütü (benchmark) ile birleştiren disiplinlerarası bir kaynak olarak sunulmaktadır.

Veri Seti ve Benchmark Yapısı#

OpenFrontiers, bilimsel problemlerin takibi ve doğrulanması için iki temel bileşen sunar:

• Geniş Problem Derlemi: Toplam 12.151 problem için problem ifadelerini, bağlamı, kaydettiği ilerlemeyi ve diğer kritik bilgileri yapılandırılmış biçimde kayıt altına alır.
• Değerlendirme Ölçütü (Benchmark): 2026 yılında çözülmüş 110 problem ve hâlâ açık olan 90 problem olmak üzere toplam 200 problem içerir. Her bir problem, otomatik yoklamalar (automated probes) ve iki bağımsız inceleme ile kontrol edilen bir Lean 4 ifadesine sahiptir.
• HQ-50 Alt Kümesi: Kalite puanı ve benzeri kriterlere dayalı olarak daha ileri düzeyde filtrelenmiş yüksek kaliteli 50 problemlik bir alt kümedir.

Değerlendirme Protokolü ve Ajan Performansı#

Değerlendirme protokolü, biçimsel kanıtları (formal proofs) izole bir sandbox ortamında iki bağımsız doğrulayıcı (checker) ile üç farklı koşul altında puanlar:

• Closed-book (Kapalı kitap): Dış kaynak erişimi olmadan sadece modelin kendi bilgisiyle çözüm üretmesi.
• Frozen-retrieval (Dondurulmuş erişim): Belirli bir zamana kadar sabitlenmiş bilgi havuzundan yararlanma.
• Live-web (Canlı web): Güncel internet erişimiyle çözüm arama.

Standartlaştırılmış bir bütçe altında HQ-50 alt kümesi üzerinde yedi LLM ajanı değerlendirildiğinde çarpıcı bulgular ortaya çıkmıştır: Kapalı kitap (closed-book) koşulunda bilimsel yeniden keşif oldukça nadirdir ve çözülmüş 40 problemden en fazla 7'sinde başarı sağlanabilmiştir. Buna karşılık, canlı web (live-web) koşulundaki başarı ise büyük ölçüde yayınlanmış mevcut çözümlerin internetten getirilmesini (retrieval) yansıtmaktadır.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

Geniş bir araştırma problemi derlemini, belgelenmiş çözümlere sahip biçimsel olarak puanlanan bir değerlendirme alt kümesiyle ilişkilendiren OpenFrontiers, araştırma düzeyinde yeniden keşfi ölçmek ve açık bilimsel problemleri çözmeye yönelik ilerlemeyi incelemek için sağlam bir temel sunar. Yazılım mühendisliği ve yapay zeka sistemleri geliştirenler için bu çalışmadan çıkarılabilecek pratik dersler şunlardır:

• Veri Sızıntısı ve Gerçek Akıl Yürütme Ayrımı: Canlı web erişimli ajanların başarısının çoğunlukla mevcut çözümleri bulmaktan ibaret olması, AI Test Stratejileri ve Golden Dataset Oluşturma süreçlerinde eğitim verisi sızıntısını (data contamination) önlemenin önemini gösterir. Modellerin gerçekten akıl yürütüp yürütmediğini anlamak için kapalı kitap ve zaman-kısıtlı test senaryoları kurgulanmalıdır.
• Deterministik Doğrulama ve Sandbox Güvenliği: LLM çıktılarının Lean 4 gibi biçimsel dillerle ve iki bağımsız kontrolcüyle izole bir sandbox içinde değerlendirilmesi, Production'da Agent Güvenilirliği için kritik bir mimari örnektir. Kod üreten veya karmaşık mantıksal kararlar alan ajanları sadece başka bir LLM ile değerlendirmek yerine, derleyici ve biçimsel doğrulayıcılarla test etmek hatasızlığı garantiler.
• Standart Bütçe ile Ajan Kıyaslaması: Yedi farklı LLM ajanının standart bir bütçe altında kıyaslanması, Modeller: Hangisi, Ne Zaman? ve İleri Akıl Yürütme Teknikleri bağlamında maliyet-performans analizinin üretim ortamındaki önemini vurgular.

Veri setine ve değerlendirme ölçütüne https://huggingface.co/collections/FlippyDora/openfrontiers adresinden ulaşılabilir.