Heartbeat Thinking: Gerçek Zamanlı Sesli Ajanlarda Dinleme Sırasında Spekülatif Akıl Yürütme ve Araç Çalıştırma

Sorun: Sesli Ajanlarda Bekleme Süresi ve Kesintiye Uğrayan Hesaplamalar#

Araç kullanan (tool-using) sesli ajanlar, eyleme dönüştürülebilir bilgiler konuşmanın henüz başlarında gelmiş olsa bile, kullanıcıları konuşma bittikten sonra bekletmek zorunda kalır. Mevcut spekülatif yaklaşımlar konuşma devam ederken çalışmaya başlasa da parça sınırlı (chunk-bounded) veya güncelleme anında kesintiye uğrayan (interrupt-on-update) üretim mekanizmaları, bir araç çağrısını argümanları henüz tamamlanmadan yarıda kesebilir. Bu durum, hesaplama süresini doğrudan konuşma güncellemelerine bağımlı hale getirerek önceden tamamlanabilecek faydalı iş miktarını ciddi şekilde sınırlar.

Çözüm: Heartbeat Thinking Mimarisi#

Bu darboğazı aşmak için geliştirilen Heartbeat Thinking, devam eden çağrıların ve tetiklenen araçların çalışmasını tamamlamasına izin verirken, güncellenen girdileri yeni "Thinker" (Düşünücü) çağrıları aracılığıyla işler. Sistem şu temel mekanizmalarla ilerler:

• Periyodik Çağrılar ve Paylaşımlı Kayıt: Belirli aralıklarla yapılan çağrılar, en güncel kısmi konuşma metnini (partial transcript) ve tamamlanmış akıl yürütme ile araç sonuçlarının tutulduğu paylaşımlı bir kaydı okur.
• Bağımlı Çağrıların Çözümlenmesi: Elde edilen bu ara sonuçlar, eksik argümanların tamamlanmasına ve birbirine bağımlı yeni araç çağrılarının başlatılmasına yardımcı olur; böylece hazırlık süreci konuşma güncellemeleri boyunca kesintisiz ilerler.

Performans Sonuçları ve Kıyaslamalar#

SpeechFCEval, FDBench v3 ve AudioCRAG kıyaslamalarında (benchmark) test edilen Heartbeat Thinking, nihai görev kalitesi üzerinde kıyaslamaya bağlı değişen etkiler göstermekle birlikte, SHANKS tarzı pencereli (windowed) temel modellere kıyasla toplam spekülatif araç kapsamını veya bilgi getirme (retrieval) yeniden kullanımını artırır:

• FDBench v3 Başarısı: Araç kapsamını (tool coverage) 16 yüzde puanı artırır.
• Gecikme Optimizasyonu: Ortalama nihai yanıt gecikmesini (latency) %36,4 oranında azaltır.

Yazılım Geliştirme ve Pratik Çıkarımlar#

Bu araştırma, gerçek zamanlı sesli asistanlar ve çok adımlı ajan mimarileri geliştiren mühendisler için kritik dersler sunmaktadır:

• İptal Etmek Yerine Durumu Paylaşın: Kullanıcı konuşmaya devam ettiğinde arka planda çalışan asenkron araç çağrılarını iptal etmek (abort) yerine, sonuçları paylaşımlı bir bellek alanında (shared state) toplayarak yeni gelen bağlamla birleştirin.
• Dinleme Süresini Hazırlığa Dönüştürün: Konuşma sırasındaki devam eden hesaplamaları korumak, pasif dinleme süresini yeniden kullanılabilir bir hazırlık aşamasına dönüştürerek çok daha hızlı ve yetenekli sesli ajan yanıtları üretmeyi sağlar.
• Edumints Modül Bağlantısı: Bu mimari yaklaşım, platformumuzdaki Tool Calling ve Multi-Step Agent'lar, Live / Stream ve İleri Akıl Yürütme Teknikleri modüllerinde ele alınan gerçek zamanlı akış ve asenkron araç yönetimi pratikleriyle doğrudan örtüşmektedir.