SearchJev: Arama Ajanları İçin Hızlı ve Kalibre Edilmiş Sistem-1 Modeli

Arama Ajanlarında Karar ve Üretim Ayrımı#

Otonom arama ajanları (search agents); ağ tarama ve araştırma süreçlerinde içerik uygunluğu (relevance), kanıt yeterliliği (evidence sufficiency) ve sonraki arama adımları gibi konularda sürekli anlık kararlar vermek zorundadır. Günümüz mimarilerinde bu tür operasyonel kısa kararlar için otoregresif üretken dil modellerinin kullanılması; kabul edilemez seviyede yüksek yanıt gecikmesi (latency) ve güvenilmez model özgüveni (unreliable confidence) yaratmaktadır.

Bu kritik problemi çözmek amacıyla geliştirilen SearchJev, arama kararlarını Sistem-2 tipi derin akıl yürütme ve metin üretim süreçlerinden tamamen ayıran, hızlı ve yüksek kalibrasyonlu bir Sistem-1 modelidir. SearchJev; mevcut arama durumunu ve tanımlanan karar şemasını girdi olarak alarak, yavaş çalışan otoregresif metin üretimine başvurmadan doğrudan geçerli seçenekleri skorlar ve milisaniyeler düzeyinde karara bağlar.

Temel Metodoloji ve Çift Sistem Mimarisi#

Modelin teorik ve mimari yapısı şu temel bileşenler üzerine inşa edilmiştir:

• SLCD (Soft-Label Learning for Calibrated Decisions): Belirsiz denetim (uncertain supervision) verilerinden doğru karar olasılıklarını öğrenmek ve modelin güven skorlarını hassas biçimde kalibre etmek için yumuşak etiketli öğrenme yöntemi uygulanır.
• Çift Sistemli Ajan Tasarımı (Dual-System): SearchJev (Sistem-1), arama döngüsü içindeki hızlı ara kararları yönetirken; yüksek belirsizlik içeren kritik yargıları planlama, sorgu üretimi ve nihai yanıt derlemesini üstlenen Sistem-2 modeline devreder.
• SearchDecision-Bench Kıyaslama Ölçütü: Arama süreçlerinde karşılaşılan altı farklı karar türünü tek çatı altında toplayarak eğitim ve değerlendirme imkânı sunan kapsamlı bir kıyaslama veri setidir.

Deneysel Başarım ve Ölçüm Sonuçları#

Kapsamlı test ortamlarında SearchJev ve ikili ajan mimarisi üstün bir performans sergilemiştir:

• SearchDecision-Bench Sonuçları: SearchJev, kendi ölçeğindeki otoregresif Qwen3.5 modellerine kıyasla karar kalitesini artırmış, kararları 5.2 ila 5.3 kat daha hızlı almış ve ortalama beklenen kalibrasyon hatasını (ECE) %41 ila %74 oranında azaltmıştır.
• BrowseComp-Plus Sonuçları: İkili sistem mimarisini benimseyen arama ajanları, aktif arama süresinde 3.7 ila 4.7 kat hızlanma sağlarken nihai yanıt doğruluğunu %45 seviyesinden %54'e yükseltmiştir.

Yazılım Geliştiriciler ve Ajan Mimarisi İçin Çıkarımlar#

Yazılım mühendisleri ve yapay zekâ uygulayıcıları için bu çalışma kritik pratik dersler barındırmaktadır:

• Her Ajan Adımında Üretken Model Kullanmayın: Her durum değerlendirmesi ve filtreleme kararı için tam teşekküllü otoregresif üretim yapmak kaynak israfıdır; durum bazlı sınıflandırma ve doğrudan skorlama yapan hafif modellerle sistem gecikmesi radikal biçimde düşürülmelidir.
• Karar Kalibrasyonunu Güvenlik Eşiği Olarak Konumlandırın: Ajan sistemlerinde modelin kendi belirsizliğini doğru ölçebilmesi (kalibrasyon), görevin ne zaman daha büyük bir akıl yürütme modeline devredileceğini belirleyen en güvenilir güvenlik mekanizmasıdır.
• Hibrit Sistem-1 ve Sistem-2 İş Bölümü Tasarlayın: Rutin filtreleme kararlarını hafif Sistem-1 modellerine, karmaşık planlama ve metin sentezini ise Sistem-2 modellerine paylaştırmak; üretim ortamlarında hem maliyet tasarrufu hem de yüksek doğruluk sağlar.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Production'da Agent Güvenilirliği modülüne göz atın.