Sistemele AI vocale sunt vulnerabile la atacuri audio ascunse

Un nou studiu dezvăluie o vulnerabilitate critică în sistemele AI vocale, demonstrând modul în care actorii rău intenționați pot manipula aceste sisteme prin semnale audio imperceptibile. Tehnica "AudioHijack" permite atacatorilor să injecteze comenzi ascunse în clipuri audio, determinând modelele AI să efectueze acțiuni nedorite, cum ar fi căutări web sau exfiltrarea de date. Această cercetare evidențiază un risc de securitate semnificativ pentru aplicațiile bazate pe AI, în special cele care se bazează pe intrarea audio.

Echipa de cercetare și-a testat metoda pe 13 modele AI open-source și servicii comerciale de la Microsoft și Mistral, obținând rate de succes ridicate în manipularea sistemelor. Atacul implică modificarea formelor de undă audio pentru a crea exemple adversare care exploatează o defecțiune în modul în care modelele mari de limbaj audio (LALM) procesează informațiile. Cercetătorii au folosit un algoritm de optimizare pentru a rafina sunetul rău intenționat, asigurându-se că acesta rămâne nedetectabil pentru urechile umane, în timp ce controlează eficient comportamentul AI. Această abordare poate fi utilizată pentru a ataca un model în timp ce este utilizat de altcineva.

Implicațiile acestei cercetări sunt de anvergură, deoarece expune o slăbiciune fundamentală de securitate în proiectarea modelelor AI generative. Capacitatea de a injecta instrucțiuni rău intenționate în clipuri audio reprezintă o amenințare pentru diverse aplicații, inclusiv asistenți digitali, servicii de transcriere și dispozitive controlate vocal. Constatările subliniază necesitatea unor măsuri de securitate îmbunătățite în dezvoltarea AI, cum ar fi validarea îmbunătățită a intrărilor și apărări robuste împotriva atacurilor adversare. Studii suplimentare au demonstrat capacitatea de a injecta sunetul lor rău intenționat într-un chat vocal live cu un AI în timp real.