Săptămâna aceasta la Romi #2: Reducerea latenței în Voice AI

Ultima actualizare de la Romi detaliază eforturi semnificative pentru a reduce latența în sistemul lor Voice AI, având ca scop transformarea experienței utilizatorului de la întârzieri robotice la o conversație naturală. Obiectivul principal a fost eliminarea a 200-300 de milisecunde, o cantitate aparent mică, dar care afectează drastic responsivitatea percepută. Aceasta a implicat o revizuire amănunțită și curățarea pipeline-ului existent, abordând atât procesele backend, cât și selecția modelului.

Îmbunătățirile tehnice implementate includ tranziția de la execuția sincronă la cea asincronă a instrumentelor, prevenind blocarea pipeline-ului în timpul scrierilor în baza de date și permițând interacțiunea vocală continuă. De asemenea, au redus drastic straturile de dedublare de la șapte la două prin consolidarea ranforsării prompturilor și curățarea backend-ului, ceea ce a rezolvat contradicțiile și a îmbunătățit viteza. Mai mult, au înlocuit modelele de 'gândire' care adăugau întârzieri de raționament cu un nou model optimizat specific pentru invocarea rapidă și precisă a instrumentelor, esențială pentru performanța agentului lor.

Ca un complement al acestor optimizări backend, Romi a introdus un comutator Push-to-Talk, oferind utilizatorilor mai mult control în medii zgomotoase sau atunci când își exprimă gândurile. Această actualizare subliniază că câștigurile semnificative de performanță pot proveni din ștergerea și simplificarea codului, nu doar din adăugări complexe. Echipa se concentrează acum pe rafinarea în continuare a acestor îmbunătățiri și pe explorarea potențială a altor domenii de optimizare în actualizările viitoare.