Google a plătit cercetători de bug-uri pentru vulnerabilități open-source, apoi AI a inundat coada cu bug-uri inventate

Inițiativa Google de a stimula descoperirea vulnerabilităților în proiectele open-source a fost grav afectată de o consecință neașteptată: utilizarea pe scară largă a AI pentru a genera rapoarte false de bug-uri. Cercetătorii participanți la program au constatat că trimiterile lor, precum și cele ale altora, au fost înecate de un potop de probleme generate de AI, multe dintre ele fiind fără sens sau complet fabricate. Această situație a creat un backlog semnificativ și a frustrat comunitatea de securitate care se bazează pe aceste programe pentru a îmbunătăți siguranța software-ului.

Problema centrală constă în accesibilitatea și capacitatea modelelor AI moderne de a genera rapoarte tehnice plauzibile, dar în cele din urmă false. Participanții au observat un model în care instrumentele AI au fost utilizate pentru a crea rapoarte de bug-uri care imitau formatul și limbajul descoperirilor legitime, dar nu aveau nicio bază tehnică reală. Acest lucru a obligat Google și alte organizații care derulează programe similare să investească mai multe resurse în verificarea manuală a trimiterilor, deviind atenția de la amenințările reale de securitate și potențial întârziind remedierea vulnerabilităților reale.

Implicațiile acestei tendințe depășesc programul Google, subliniind o provocare în creștere în distingerea cercetării de securitate generate de om de zgomotul generat de AI. Pe măsură ce capabilitățile AI avansează, dezvoltatorii și echipele de securitate vor trebui să implementeze mecanisme de detectare mai sofisticate pentru a filtra rapoartele fabricate. Această situație subliniază necesitatea unor strategii în evoluție în programele de recompense pentru bug-uri și cercetarea de securitate pentru a se adapta la peisajul în schimbare al activităților malițioase sau greșit orientate, asistate de AI.