İçeriğe geç
edumintsBlog
LLM2 dk okuma

Yapılandırılmış İskelet ile Artımlı Açık Uçlu Derin Araştırma (Incremental-OEDR)

Kaynak: Hugging Face Papers

Paylaş
LLMEdumints Blog
İçindekiler 3 başlık

Giriş ve Genel Bakış#

Geleneksel Açık Uçlu Derin Araştırma (OEDR - Open-Ended Deep Research) sistemleri, araştırma raporlarını çoğunlukla sıfırdan (from scratch) oluşturmaktadır. Bu durum, yeni bilgilerin sürekli ortaya çıktığı ve raporların düzenli olarak güncellenmesi gereken senaryolarda ciddi bir hesaplama ve zaman verimsizliğine yol açar. Bu problemi aşmak amacıyla araştırma raporunu yaşayan bir durum olarak modelleyen Incremental-OEDR yaklaşımı ve bunu destekleyen Structured Harness mimarisi geliştirilmiştir.

Makalenin Temel Maddeleri ve Bulguları#

Makale, derin araştırma süreçlerini sürekli ve sürdürülebilir kılmak için şu temel yapı taşlarını ve sonuçları sunmaktadır:

  • Mevcut OEDR Kısıtları: Mevcut açık uçlu derin araştırma sistemleri raporları her seferinde baştan ürettiği için sürekli bilgi akışının bulunduğu dinamik senaryolarda verimsiz kalmaktadır.
  • Incremental-OEDR Yaklaşımı: Raporu evrilen bir araştırma durumu (research state) olarak ele alan bu yöntem; geçerli bilgileri muhafaza eder, güncelliğini yitirmiş içerikleri revize eder ve yeni verileri kademeli olarak rapora entegre eder.
  • Yapılandırılmış İskelet (Structured Harness): Raporları taslaklar (outlines), bölümler (sections) ve destekleyici kanıtlardan oluşan koleksiyonlar olarak modeller; seçici güncelleme ve kanıtların yeniden kullanımı adına yapılandırılmış erişim, kalıcı kanıt havuzu ve yapılandırılmış üretim sunar.
  • Zamansal Değerlendirme Çerçevesi: On yıllık bir dönemi kapsayan bu değerlendirme metodolojisi; hem tekil durum geçişlerini ölçen Tek Adımlı Görev (Single-Step Task) hem de uzun vadeli zincirleri analiz eden Uzun Zincirli Görev (Long-Chain Task) bileşenlerini barındırır.
  • Kapsamlı Karşılaştırmalı Deneyler: DeepResearch Bench ve DeepConsult üzerinde hem Açık Kaynak (OC) hem de Tescilli (PC) konfigürasyonlarda yapılan deneyler, sistemin rapor kalitesini korurken sürekliliği artırdığını ve maliyetleri düşürdüğünü kanıtlamıştır.
  • Ölçülebilir Başarım Metrikleri: OEDR taban çizgisine kıyasla içerik düzeyinde 0.51 daha yüksek ROUGE-L F1, taslak düzeyinde 0.63 daha yüksek EM F1, %33 daha düşük token tüketimi ve %61 daha az harici arama çağrısı elde edilmiştir.
  • Açık Kaynak Proje Erişimi: Araştırma sürecine, kodlara ve projenin diğer ayrıntılarına ioedr-project.github.io proje sayfası üzerinden erişilebilmektedir.

Yazılım Geliştirme ve Öğrenme Açısından Pratik Çıkarımlar#

  • Durum Tutan (Stateful) Ajan Mimarisi: Üretim ortamlarında LLM tabanlı araştırma ajanları inşa ederken bağlamı sıfırlamak yerine kalıcı durum mimarileri kurgulamak, gereksiz hesaplamaları ve gecikmeyi önler.
  • Seçici Güncelleme ile Optimizasyon: Dokümanları atomik bölümlere ayırmak ve yalnızca güncellenmesi gereken kısımları işlemek, token tüketimini ve API harcamalarını radikal şekilde azaltır.
  • Kalıcı Kanıt Havuzları: Dış arama araçlarının sonuçlarını önbelleğe alıp yapılandırılmış havuzlarda depolamak, arama çağrılarını %60'ın üzerinde düşürerek kurumsal sistem güvenilirliğini artırır.


Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.

Kaynak ve atıf

Bu yazı, Hugging Face Papers üzerinde yayımlanan içerikten yararlanılarak Edumints tarafından yapay zekâ desteğiyle Türkçe hazırlandı. Ayrıntılar ve yazarların kendi anlatımı için orijinaline bakabilirsin:

  • huggingface.co/papers/2610.11566