Barge-in pentru Opt Voci AI: Cum să permiți întreruperi într-un apel de grup AI live

Dezvoltarea unei aplicații mobile care permite utilizatorilor să participe la apeluri de grup live cu până la opt voci AI a prezentat o provocare tehnică semnificativă, în special în ceea ce privește permiterea întreruperilor umane fluide, cunoscute sub denumirea de barge-in. Spre deosebire de scenariile mai simple de asistent vocal unu-la-unu, unde barge-in-ul este în mare parte rezolvat, gestionarea întreruperilor într-un mediu multi-AI amplifică erorile potențiale, cum ar fi agenții AI care răspund la propriul audio sau semnale ratate care duc la suprapuneri haotice. Provocarea principală a fost crearea unui sistem în care intrarea umană ar putea întrerupe în mod fiabil discursul AI în curs și ar putea avea prioritate, fără a provoca bucle de feedback sau defecțiuni conversaționale.

Soluția implementată a implicat o configurație sofisticată, utilizând un model Whisper în timp real pentru transcrierea utilizatorului și sesiuni de vorbire separate în timp real pentru fiecare participant AI. Crucial, aceste sesiuni AI erau stateless, contextul fiind partajat prin instrucțiuni de tură pentru a asigura că toți agenții au menținut coerența conversațională. Un model director ușor a gestionat turele vorbitorilor, utilizând o revenire round-robin, în timp ce un conductor pe partea serverului a impus strict un singur vorbitor activ în orice moment. Pentru a aborda problemele de latență ale bazării exclusiv pe evenimente de transcriere, sistemul a încorporat o detecție a activității vocale (VAD) bazată pe energie pe intrarea audio brută, permițând detectarea aproape instantanee a vorbirii umane. Aceasta a fost îmbunătățită suplimentar prin mecanisme stratificate de protecție împotriva ecoului, inclusiv procesare audio specifică platformei, limitare pe partea clientului, VAD pe partea serverului și analiză a transcrierilor, pentru a preveni ca audio-ul AI să fie interpretat greșit ca intrare nouă.

Au fost aduse rafinări suplimentare pentru a distinge între întreruperile autentice și backchanneling sau zgomot. A fost introdus un sistem de verdict în care interjecțiile scurte precum 'yeah' sau 'mm-hmm' permiteau AI-ului să continue, în timp ce o intrare mai substanțială ar declanșa o nouă tură conversațională. Alegerea modelului director a fost optimizată pentru latență scăzută, asigurând că întârzierea dintre întreruperea unui utilizator și răspunsul AI a fost minimizată. Aceste progrese permit în mod colectiv o experiență mai naturală și interactivă, deschizând calea pentru platforme de comunicare de grup mai sofisticate, bazate pe AI.