Decăderea constrângerilor: De ce agentul tău AI de codare trece testele, dar se blochează în producție

Principala constatare a lucrării "Constraint Decay: The Fragility of LLM Agents in Backend Code Generation" este că agenții de codare AI generează cod backend plauzibil atunci când cerințele sunt vagi, dar performanța lor se degradează pe măsură ce constrângerile structurale cresc. Cercetarea a evaluat agenții în opt framework-uri web, dezvăluind o scădere semnificativă a ratelor de trecere a aserțiunilor de la sarcinile de bază la sarcinile de producție complet specificate. Aceasta înseamnă că codul generat de acești agenți satisface adesea testele funcționale, dar încalcă cerințele structurale, ceea ce duce la incidente de producție.

Studiul identifică două categorii principale de eșec: compunerea incorectă a interogărilor și încălcările de runtime ORM. Agenții pot scrie interogări brute sau pot compune interogări ORM în moduri care încalcă modelele framework-ului. De asemenea, generează cod care trece analiza statică și testele unitare, dar încalcă contractele ORM de runtime. Aceste probleme sunt adesea invizibile pentru testele funcționale, apărând doar în condiții reale de date sau la nivelul bazei de date. Lucrarea subliniază faptul că suita de teste ar putea să nu fie concepută pentru a detecta aceste încălcări structurale, deoarece este adesea scrisă cu aceeași înțelegere ca și agentul.

Implicațiile decăderii constrângerilor sunt semnificative pentru echipele care utilizează agenți de codare AI. Acumularea de documentație și ghiduri de stil, menite să constrângă agentul, poate deveni parte a problemei. De exemplu, un exemplu Django arată modul în care un agent ar putea ocoli un model de repository, ceea ce duce la modele de interogare N+1 pe care suita de teste le ratează. Acest lucru poate provoca probleme de performanță în producție. Studiul sugerează că dezvoltatorii trebuie să fie conștienți de aceste limitări și să își proiecteze fluxurile de lucru în consecință, asigurându-se că constrângerile structurale sunt aplicate și testate în mod corespunzător.