VoxLock: Ön Kayıt Adımı Olmadan Sesli Ajanlar İçin Hedef Konuşmacı Ayıklama

Sesli Ajanlarda Arka Plan Konuşmaları ve Çözüm Yaklaşımı#

Bir sesli ajanın (voice agent) konuşma tanıyıcısı, arayan kişi dışındaki insanlar da dahil olmak üzere mikrofona yakın olan herkesin konuşmasını metne dönüştürür. Gerçek zamanlı sesli yapay zeka uygulamaları geliştirirken karşılaşılan en büyük üretim sorunlarından biri, arka plandaki yan konuşmaların STT (Speech-to-Text) katmanına sızarak LLM bağlamını kirletmesi ve ajanın yanlış tetiklenmesine yol açmasıdır.

Bu sorunu çözmek amacıyla, halka açık nedensel (causal) bir hedef konuşmacı ayıklama modeli olan REAL-TSE (27 milyon parametre), tek bir GPU üzerinde ince ayar (fine-tuning) yapılarak doğrudan görüşmenin kendisinden kesilen bir ses örneğiyle çalışacak şekilde uyarlanmış ve VoxLock adıyla yayınlanmıştır. Geleneksel sistemlerde kullanıcıdan önceden ses kaydı (enrollment step) alınması gerekirken, görüşme içinden alınan kesitle çalışabilmesi kullanıcı deneyimini ve sistem mimarisini büyük ölçüde sadeleştirir.

Gerçek Kayıtlar Üzerinde Performans ve Kıyaslama Sonuçları#

Modelin başarısı, sentetik sinyal metrikleri yerine konuşma tanıyıcının gerçek kayıtlar üzerinde ne yazdığı (transkripsiyon kalitesi) üzerinden puanlanmıştır. Test sonuçları şu temel bulguları ortaya koymaktadır:

• Krisp Benchmark Sonuçları: Krisp'in 265 kayıtlık kıyaslama testinde işlenmemiş seste %23,21 olan Kelime Hata Oranı (WER - Word Error Rate), VoxLock ile %4,95 seviyesine düşürülmüştür.
• Arka Plan Konuşma Filtreleme: Sadece arka plan konuşmalarından oluşan 85 dakikalık ses kaydında transkripte yalnızca 9 arka plan kelimesinin sızmasına izin vermiştir.
• Mevcut Sistemlerle Karşılaştırma: Elde edilen WER değeri, Krisp'in en iyi filtrelerinden istatistiksel olarak anlamlı bir farklılık göstermemekte; buna karşın test edilen diğer ticari ve açık kaynaklı sistemlerden anlamlı ölçüde daha düşük (daha başarılı) çıkmaktadır.
• AMI Toplantı Kayıtları: Puanlama öncesinde oluşturulup dondurulan 400 AMI toplantı penceresinde WER oranını %42,95'ten %10,63'e indirmiştir.

Üretim Ortamı, Gecikme Süresi ve Geliştiriciler İçin Çıkarımlar#

Modelin üretim (production) ortamındaki verimliliği ve yazılım mühendisliği açısından sunduğu pratik çıkarımlar şunlardır:

• Düşük Kaynak Tüketimi ve Gecikme: 8-bit nicemlenmiş (quantized) model, canlı bir görüşmeyi 24 ms algoritmik gecikme (latency) ile tek bir CPU iş parçacığının (thread) %77'sini kullanarak çalıştırabilmektedir.
• Açık Kaynak Erişilebilirliği: Model ağırlıkları, kaynak kodları ve dosya bazlı tüm test skorları açık olarak paylaşılmıştır.
• Pratik Mühendislik Çıkarımı: Sesli ajan geliştirirken devasa modeller yerine 27M parametreli odaklı bir modeli 8-bit quantization ile CPU üzerinde koşturmak, sunucu maliyetlerini düşürürken uçtan uca akış (streaming) gecikmesini korur. Ayrıca modelleri sadece sinyal gürültü oranıyla değil, doğrudan hedef STT sisteminin ürettiği WER metriği ve önceden dondurulmuş veri setleriyle (Golden Dataset yaklaşımı) değerlendirmek, üretime geçişte gerçekçi kalite kontrolü sağlar.

---

Bu konuyu derinlemesine öğrenmek isterseniz: Live / Stream modülüne göz atın.