AI și-a revizuit propriul cod timp de 30 de zile, dar un om a găsit bug-ul în 5 minute

Un experiment a fost desfășurat pe parcursul a 30 de zile, în care un AI de revizuire a codului a fost configurat să auditeze fiecare pull request generat, creând practic o buclă de revizuire AI-pe-AI. Scopul principal a fost determinarea dacă acest proces automatizat ar putea detecta eficient bug-uri, impune consistența codului și reduce sarcina revizorilor umani. Configurația a implicat rutarea pull request-urilor generate de AI printr-o revizuire secundară de către același model AI, suplimentată cu instrumente de analiză statică și reguli de linting, care inițial au funcționat bine în identificarea problemelor minore și impunerea standardelor.

Experimentul a întâmpinat un eșec semnificativ în a 30-a zi, când un inginer uman a descoperit o eroare logică critică în mai puțin de cinci minute. Acest bug, o condiție de cursă într-o tranziție de stare care a devenit evidentă doar în anumite interacțiuni ale utilizatorilor, a fost ratat de AI, deși acesta revizuise codul de mai multe ori. AI-ul marcase probleme de formatare și sugerase refactorizări, dar nu a reușit să înțeleagă problema de bază, deoarece îi lipsea o înțelegere a scopului codului și a perspectivei utilizatorului, demonstrând o dificultate în a înțelege intenția dincolo de potrivirea de tipare.

Acest rezultat subliniază că revizorii de cod AI sunt cei mai eficienți ca și colaboratori, nu ca înlocuitori ai supravegherii umane. Fluxul de lucru ideal implică AI-ul gestionând sarcini repetitive precum impunerea stilului și identificarea anti-tiparelor comune, eliberând inginerii umani pentru a se concentra pe logica complexă, intenția specifică domeniului și cazurile limită nuanțate care necesită empatie și înțelegere contextuală. Experimentul a concluzionat că viitorul revizuirii codului constă în sinergia dintre AI și expertiza umană, valorificând fiecare pentru punctele sale forte unice.