Modelele AI se luptă să distingă codul bun de cel rău, adesea dând alarme false

Un nou benchmark numit Blog vs Bytecode, dezvoltat pe Kaggle, a fost creat pentru a testa cât de bine pot modelele AI să distingă între fragmente de cod de data science corecte și cele cu defecte, în special atunci când sunt prezentate alături de descrieri în stil blog. Benchmark-ul asociază codul cu afirmații despre funcționalitatea sa, jumătate conținând erori reale, cum ar fi împărțirea incorectă a datelor sau scurgeri de ținte, iar cealaltă jumătate fiind corectă. Descoperirile inițiale au evidențiat probleme cu mecanismul de testare în sine, care a raportat incorect rezultatele, făcând ca modelele puternice să pară că performează slab. Acest lucru subliniază importanța auditării mecanismului de captură în evaluarea performanței AI.

După remedierea problemelor de captură, modelele AI au demonstrat o capacitate puternică de a identifica defectele reale de cod. Cu toate acestea, au greșit frecvent marcând codul corect ca fiind problematic, un fenomen numit „a plânge lupul”. Modelele mai mari, de ultimă generație, precum Claude Sonnet 5 și Gemini 3.8 Flash, au prezentat această tendință de supra-marcare, în timp ce modelele mai mici, precum Gemma 4 31B, au prezentat problema opusă, sub-marcând defectele fiind prea încrezătoare în textul însoțitor. Studiul a constatat, de asemenea, că activarea funcției de „raționament” a îmbunătățit semnificativ performanța, în special în distingerea diferențelor subtile, dar critice, în logica codului, sugerând că potrivirea simplă a tiparelor este insuficientă.

Implicațiile acestor descoperiri sunt semnificative pentru dezvoltarea și implementarea AI în analiza codului. Benchmark-ul relevă că modelele actuale, în special cele avansate, sunt excesiv de precaute, potențial limitându-și utilitatea prin respingerea codului valid. Invers, modelele mai mici ar putea să nu fie suficient de robuste pentru a detecta erori subtile. Lucrările viitoare se vor concentra pe rafinarea acestor modele pentru a obține un echilibru mai bun între identificarea problemelor reale și evitarea falselor pozitive, asigurând o revizuire și dezvoltare a codului asistată de AI mai fiabilă.