Cercetătorii păcălesc agenții AI ai companiilor Fortune 500 să ruleze cod arbitrar printr-un atac de tip supply-chain

Un nou atac de tip supply-chain a fost demonstrat cu succes de cercetători, vizând agenții AI utilizați de companiile majore Fortune 500. Atacul exploatează o vulnerabilitate critică prin care acești agenți AI pot fi manipulați să execute cod arbitrar prin procesarea fișierelor de date special concepute. Această metodă subliniază un risc de securitate semnificativ, provenit din convergența tot mai mare a datelor și a instrucțiunilor executabile în cadrul sistemelor AI, reprezentând o amenințare pentru mediile corporative sensibile.

Mecanismul tehnic implică încorporarea de comenzi malițioase în fișiere de ghidare accesibile publicului, cum ar fi 'llms.txt', pe care agenții AI sunt proiectați să le ingereze și să le urmeze. Când un agent AI procesează un astfel de fișier, interpretează instrucțiunile încorporate ca fiind comenzi valide, ducând la execuția neintenționată de cod. Această abordare ocolește măsurile de securitate tradiționale care s-ar putea concentra exclusiv pe integritatea codului, deoarece vectorul de atac este deghizat ca procesare de date de rutină.

Această descoperire are implicații profunde pentru securitatea sistemelor bazate pe AI și pentru lanțul de aprovizionare software mai larg. Subliniază necesitatea urgentă a unor protocoale de securitate robuste care pot diferenția între date inofensive și comenzi executabile, mai ales pe măsură ce agenții AI devin mai integrați în operațiunile critice de afaceri. Eforturile viitoare se vor concentra probabil pe dezvoltarea unor tehnici mai bune de sandboxing și validare a intrărilor pentru modelele AI, pentru a preveni atacuri similare.