OpenAI expune o nouă varietate de prompt injection capabilă de auto-propagare

OpenAI a publicat recent constatări despre un nou tip sofisticat de atac de prompt injection care prezintă capabilități de auto-propagare, asemănătoare viermilor informatici. Această descoperire este semnificativă deoarece reprezintă un salt major în sofisticarea atacurilor care vizează modelele AI, trecând de la simpla manipulare la replicare și răspândire autonomă.

Vulnerabilitatea exploatează modul în care modelele lingvistice mari (LLM) procesează și generează răspunsuri, permițând crearea unui prompt malițios astfel încât să instruiască AI-ul să genereze prompturi malițioase suplimentare. Aceste prompturi nou generate pot fi apoi utilizate pentru a infecta alți utilizatori sau sisteme care interacționează cu AI-ul compromis, creând o reacție în lanț. Specificul implică manipularea ieșirii AI-ului pentru a include instrucțiuni pentru propagare ulterioară, potențial pe diferite platforme sau utilizatori.

Această evoluție are implicații profunde pentru securitatea AI, subliniind necesitatea unor apărări mai robuste împotriva vectorilor de atac emergenți. Abilitatea acestor injecții de a se răspândi autonom necesită dezvoltarea urgentă de noi protocoale de securitate și mecanisme de detectare pentru a proteja sistemele AI și utilizatorii acestora de compromitere pe scară largă.