Box, Ajan Odaklı Yeni İçerik Erişim Sistemi İçin Nvidia’nın Nemotron Modelini Kullanıyor

Ajan Odaklı İçerik Erişiminde Yeni Dönem: Box Content Retrieval#

Kurumsal bulut depolama şirketi Box, düzenlediği geliştirici konferansında Nvidia’nın Nemotron gömme (embedding) sistemini ürününün merkezine yerleştiren yeni özelliğini tanıttı. Box Content Retrieval adı verilen bu yenilik, yapay zeka ajanlarının Nemotron tarafından oluşturulan gömülü üst verilere (embedded metadata) dayanarak sorguları çok daha etkili bir şekilde yanıtlamasını sağlıyor. Önümüzdeki yılın başlarında tüm Box Enterprise Advance müşterilerine sunulacak olan sistem, kullanıcılar için daha hızlı, daha doğru ve daha düşük maliyetli sorgular anlamına geliyor.

Nvidia’nın üretken yapay zeka yazılımlarından sorumlu başkan yardımcısı Kari Briski, yeni sistemle birlikte sorguların dört kat daha hızlı yanıtlanmasını, hata oranının %20 azalmasını ve kullanılan token miktarında %90 tasarruf sağlanmasını beklediklerini belirtiyor. Box CEO’su Aaron Levie ise bu teknolojinin ajanlar için arama alaka düzeyini çarpıcı biçimde artırdığını vurguluyor. Bir ajanın her belgeyi baştan sona okuması yerine, doğrudan kullanıcının sorgusuyla veya ajanın yürüttüğü görevle en alakalı belge parçaları (chunk) geri gönderiliyor.

Açık Ağırlıklı Embedding Modelleri ve RTEB Başarısı#

Bu özellik, otomatik erişim (retrieval) sistemlerini iyileştirmek için açık ağırlıklı (open-weight) embedding modelleri sunan Nvidia Nemotron Embed projesinin bir uygulamasıdır. Büyük yapay zeka laboratuvarları, verileri ajanlar tarafından daha iyi kullanılacak şekilde ön işleme tabi tutan bu tür modelleri çoğu zaman göz ardı etmiştir. Ancak Nvidia’nın açık kaynaklı model projesi bu alana odaklanmış ve Temmuz ayında yayınlanan Nemotron sürümü, erişim kalitesini ölçen RTEB (Retrieval Benchmark) testinde zirveye yerleşmiştir.

Sistem, özellikle aktif ajanlarla eşleştirildiğinde en yüksek faydayı sağlıyor. Örneğin avukatlar, yeni sistem sayesinde ilgili sözleşme maddelerini ve emsal kararları çok daha kolay bulabilecek. Nemotron’un embedding yapısı basit anahtar kelimelerin ötesine geçip altta yatan kavramları haritalandırdığı için, farklı ifadeler veya diller kullanılsa bile ilişkili hukuki temalar su yüzüne çıkarılabiliyor. Nemotron modelleri ücretsiz olarak erişilebilir olsa da Box’ın sistemi mevcut üst veri ve yetkilendirme kontrollerine sıkı sıkıya bağlı çalışıyor; CEO Levie’nin ifadesiyle "beş farklı teknoloji tek bir basit API’de birleştiriliyor."

Yazılım Geliştiriciler İçin Pratik Çıkarımlar#

Edumints platformundaki Embedding Model Serving Temelleri, RAGAS ile RAG Değerlendirme ve Production'da Agent Güvenilirliği modülleriyle doğrudan örtüşen bu mimari, mühendisler için kritik dersler barındırıyor:

• Token ve Maliyet Optimizasyonu: Ajanlara tüm dokümanları göndermek yerine yüksek kaliteli embedding ve parçalama (chunking) stratejileriyle yalnızca ilgili bağlamı sunmak, bağlam penceresi (context window) tüketimini %90’a kadar düşürür ve yanıt hızını katlar.
• Semantik Arama Gücü: Anahtar kelime eşleşmesi yerine kavramsal haritalama yapan güçlü açık ağırlıklı embedding modelleri kullanmak, çok dilli veya farklı terminolojilere sahip kurumsal verilerde hata payını ciddi oranda azaltır.
• Yetkilendirme ve Metadata Entegrasyonu: Üretim ortamında bir RAG veya ajan sistemi kurarken açık kaynaklı bir modeli tek başına sunmak yeterli değildir; modeli mevcut erişim kontrolleri (RBAC) ve zengin üst veri katmanlarıyla tek bir API altında birleştirmek, sistemin sıfırdan kopyalanmasını zorlaştıran asıl mühendislik değerini oluşturur.