--- title: "Düşük Gecikmeli Uç Servis Orkestrasyonunda LLM'ler Yerine Jev Karar Modellerinin Kullanımı" url: https://blog.edumints.com/dusuk-gecikmeli-uc-servis-orkestrasyonunda-llmler-yerine-jev-iszz7yna category: "LLM" date: 2026-10-03T09:10:35.789Z publisher: Edumints Blog lang: tr-TR source_name: "hfpapers" source_url: https://huggingface.co/papers/2609.22753 --- # Düşük Gecikmeli Uç Servis Orkestrasyonunda LLM'ler Yerine Jev Karar Modellerinin Kullanımı Doğal dil tabanlı servis istekleri, arka plandaki servislerin yürütülmesine başlanmadan önce genellikle bir dil modelinin karar vermesini gerektirir. Bu durum, özellikle uç (edge) mimarilerde uygulamanın sahip olduğu kısıtlı gecikme bütçesinin önemli bir kısmını daha başlangıç aşamasında tüketir. Araştırma, servis tamamlama başarısını ve doğruluğunu korurken bu hesaplama ek yükünü hafifletmek için **Jev karar odaklı API** entegrasyonunu uç servis orkestrasyonuna dahil etmektedir. ## Mimari Entegrasyon ve Yöntem Geliştirilen entegrasyon yapısı, istek yaşam döngüsü boyunca karar bekleme sürelerini sistematik olarak hesaba katar: - **Sınırlı Niyet Alanları:** Gelen doğal dil isteklerinden 4 ila 8 adet sınırlandırılmış niyet alanı (intent fields) çıkarılır. - **Paylaşılan Orkestrasyon Katmanı:** Çıkarılan bu alanlara ortak bir doğrulayıcı (validator), kabul politikası (admission policy) ve zamanlayıcı (scheduler) uygulanır. - **Kapsamlı Test Altyapısı:** Jev; iki adet yerel barındırılan (self-hosted) karar modeli ve üç adet bulut tabanlı büyük dil modeli (LLM) ile 8.280 doğrulanmış istek üzerinde test edilmiştir. Deneyler, modellenmiş yürütme süreçleri ve gerçek bir optik karakter tanıma (OCR) servisi içeren canlı bir kabul hattında gerçekleştirilmiştir. ## Temel Bulgular ve Performans Metrikleri 33 farklı test koşulu altında gerçekleştirilen deneyler çarpıcı sonuçlar ortaya koymaktadır: - **Gecikme Kazanımı:** Jev, kıyaslanan en hızlı LLM'e göre medyan karar gecikmesini **%22,7 ile %64,5** oranında azaltmıştır. - **Girdi ve Katalog Ölçeklenebilirliği:** Karar gecikmesi; girdi boyutu, sözleşme genişliği veya servis katalog büyüklüğü artsa bile neredeyse hiç dalgalanmamaktadır. - **Maliyet ve Doğruluk Dengesi:** Dört alanlı dar sözleşmelerde Jev, yalnızca birkaç tam eşleşme puanı kaybı karşılığında doğru karar başına API maliyetini **%59,7 ile %80,9** oranında düşürmüştür. Geniş sözleşmeler ise bu model ikamesinin doğal sınırını belirlemiştir. - **Görülmemiş Servisleri Tanıma:** Servis kataloğunu her istekle birlikte dinamik olarak alan Jev, daha önce eğitimde görmediği yeni servisleri de bilinen servislerle aynı doğruluk seviyesinde isimlendirmiştir. - **Canlı Yük Altında Dayanıklılık:** Canlı kabul hattında LLM'lerin zamanında ve tam doğruluk oranı %0,1'in altına düşerken; Jev, isteklerin **0,91-0,95**'ini zamanında ve hatasız tamamlamıştır. - **Taze Karar Üstünlüğü:** Tekrarlanan istek açıklamalarının önbelleğe alınması LLM'lere benzer gecikmeler sağlasa da, Jev'in asıl farkı ilk kez üretilen yeni ve taze kararlarda ortaya çıkmaktadır. ## Yazılım Geliştirme Açısından Pratik Çıkarımlar Bu çalışma, modern uç bilişim mimarileri kuran yazılım geliştiriciler için kritik çıkarımlar sunar: - **Genel Amaçlı LLM Takıntısından Kaçının:** Her yönlendirme kararı için milyarlarca parametreli devasa modeller kullanmak gereksiz gecikme ve maliyet yaratır; sınırları belirlenmiş görevlerde amaca özel karar modelleri tercih edilmelidir. - **Önbelleğe Güvenmeyin:** Canlı sistemlerde kullanıcı girdileri çeşitlidir; önbellek yalnızca tekrarlarda çalışırken, SLA sürelerini korumak için taze karar gecikmesini düşüren yapılar şarttır. - **Sözleşmeleri Daraltın:** Şemaları 4-8 alanla sınırlandırmak, uç orkestrasyonda tahmin edilebilir, kararlı ve yüksek verimli bir çalışma sağlar. [Orijinal kaynağa buradan ulaşabilirsiniz.](https://huggingface.co/papers/2609.22753) --- Bu konuyu derinlemesine öğrenmek isterseniz: [Edge Runtime ve Production Optimizasyonu](https://edumints.com/kesfet/nextjs-ve-vercel-ai-sdk-ile-production-ai-uygulama-21y7) modülüne göz atın. --- **Kaynak:** [hfpapers](https://huggingface.co/papers/2609.22753) **Yayıncı:** [Edumints Blog](https://blog.edumints.com) · Alıntılarken bu URL'ye bağlantı verin: https://blog.edumints.com/dusuk-gecikmeli-uc-servis-orkestrasyonunda-llmler-yerine-jev-iszz7yna