Endpointing-ul Deepgram a tăiat 22% dintre utilizatorii Voice AI în timpul răspunsului

Un dezvoltator s-a confruntat cu o problemă semnificativă de experiență a utilizatorului în aplicația sa vocală AI, unde 22% din răspunsurile lungi erau întrerupte în mijlocul frazei. Această problemă a apărut dintr-o setare agresivă de endpointing de 300ms în Deepgram, serviciul speech-to-text utilizat. Valoarea scăzută trata pauzele naturale de gândire, care depășeau adesea 700ms, ca fiind sfârșitul turului utilizatorului, ducând la răspunsuri premature ale botului și la o experiență frustrantă pentru utilizatorii care exersau răspunsuri la interviuri.

Investigația tehnică a relevat că pauzele mediane de gândire erau în jur de 0.9 secunde, cu un p90 de 2.4 secunde, făcând endpointing-ul de 300ms insuficient. Mărirea simplă a endpointing-ului la 1200ms a redus întreruperile la 6%, dar a introdus o latență inacceptabilă de 900ms pentru fiecare tur, făcând AI-ul să pară lent. Problema principală a fost presupunerea că flag-ul `speech_final` al Deepgram, declanșat de tăcere, însemna că gândul utilizatorului era complet, ceea ce nu este adevărat pentru răspunsuri complexe.

Pentru a rezolva acest lucru fără a sacrifica viteza, a fost implementat un sistem cu două etape. Prima etapă a menținut endpointing-ul de 300ms pentru un final provizoriu, urmat de o verificare ieftină a completitudinii folosind o euristică a cuvintelor de final și un clasificator LLM. Dacă era considerat incomplet, începea generarea speculativă a răspunsului botului. Această abordare a redus cu succes întreruperile la 3.1%, adăugând doar aproximativ 140ms de întârziere mediană, deși a rezultat în 19% din răspunsurile schițate fiind eliminate.