Canary Gates Fac Rangurile Agenților Comparabile

Practica actuală de clasificare a agenților de codare se bazează adesea pe rate simple de trecere, care pot fi marketing înșelător, mai degrabă decât indicatori preciși de performanță. Acest lucru se datorează faptului că detalii cruciale despre procesul de evaluare, cum ar fi textul promptului, listele de instrumente permise, imaginile sandbox și prompturile evaluatorului, influențează semnificativ scorul mai mult decât modelul de bază în sine. Articolul pledează pentru o tranziție de la procente izolate la un protocol înregistrat, care funcționează ca un plan de zbor, detaliind toate variabilele care afectează rezultatul. Acest lucru asigură că numerele sunt comparabile cu afirmația originală și nu doar o instantanee fără context.

Soluția propusă implică un registru cuprinzător care înregistrează informații esențiale înainte de rulările scorate. Acestea includ identificatorul corpusului, regula de holdout ascunsă, limitele de izolare a evaluatorului, setările de decodare, lista de instrumente permise și politica de rețea. Astfel de detalii sunt vitale pentru a face vizibilă "deriva" evaluării, în special atunci când componente precum linters sunt actualizate. Procesul subliniază, de asemenea, construcția atentă a setului de date cu familii publice și ascunse pentru sarcini și eșantionarea corectă a sarcinilor de holdout după ce promptul sistemului este blocat, pentru a preveni ajustarea împotriva metricii în sine. Canarii de control negativ sunt introduși ca un test de "puls" pentru sistem, detectând probleme precum scurgeri ale evaluatorului sau schimbări ale mediului.

În cele din urmă, articolul subliniază că un sistem de clasificare fiabil necesită mai mult decât o simplă rată de trecere; necesită un schema care refuză fișierele de scor incomplete și tratează rezultatele canarilor lipsă ca erori critice. Controalele cheie precum izolarea evaluatorului, temperatura înghețată, bugetele limitate pentru ieșirea din instrumente și politicile de rețea sunt esențiale. De asemenea, digestul imaginii sandbox și sursa ceasului trebuie blocate pentru a preveni ca variabilele externe să afecteze rezultatele. Prin implementarea acestor controale riguroase și a protocoalelor transparente, industria poate avansa către clasamente de agenți cu adevărat comparabile și de încredere, distingând metodologia demnă de citare de simpla publicitate.