Patch-urile de securitate generate de AI eșuează în 74% din cazuri, conform unui studiu

Un studiu recent realizat de Off-by-1 Labs de la 1Password a relevat o problemă semnificativă cu patch-urile de securitate generate de AI, doar 26% dintre acestea reparând cu succes vulnerabilitățile fără a modifica comportamentul aplicației. Această cercetare, intitulată "Frontier Models' Vulnerability Patches are Often F.L.A.W.E.D.", a testat modele avansate precum ChatGPT 5.5 și Claude Opus 4.8 pe șase CVE-uri reale, generând peste 6.000 de patch-uri. Rezultatele subliniază o lacună critică în capacitatea AI de a oferi soluții de securitate robuste.

Analiza tehnică a arătat că modul dominant de eșec, denumit "Fix-Like Artifacts With Embedded Defects" (F.L.A.W.E.D.), implică modelele AI care implementează verificări superficiale ale input-ului, în loc să restructureze codul vulnerabil. De exemplu, un AI ar putea adăuga o simplă escapare de ghilimele pentru a preveni injecția SQL, dar ar eșua să abordeze concatenarea în sine, lăsând vulnerabilitatea de bază intactă și potențial exploatabilă în contexte ușor diferite. Această soluție superficială poate trece testele automate și revizuirile de cod, creând un fals sentiment de securitate.

Aceste rezultate implică faptul că patch-urile generate de AI ar trebui tratate ca ipoteze, nu ca soluții definitive, iar dezvoltatorii trebuie să valideze riguros fiecare soluție produsă de AI. Studiul sugerează că modelele AI optimizează pentru tiparele vizibile ale unei soluții găsite în datele de antrenament, neglijând restructurarea complexă a codului, adesea necesară pentru securitatea reală. Aceasta indică o nevoie de antrenament AI mai sofisticat sau o schimbare de paradigmă în modul în care AI este utilizat pentru patch-uri de securitate, subliniind supravegherea umană și analiza aprofundată.