ai · · 21:19 · 2 min de citit
Un AI și-a rescris propriile prompturi, dar poarta de siguranță a respins toate modificările
Un proiect open-source numit AgentSelfEdit a fost dezvoltat pentru a rescrie autonom promptul de sistem al unui AI pe baza feedback-ului de execuție, utilizând testarea A/B pentru a valida modificările. În ciuda numeroaselor iterații și apeluri LLM, o poartă de siguranță deterministă a respins fiecare modificare propusă, subliniind dificultatea măsurării obiective a îmbunătățirilor prompturilor și robustețea porții implementate.
Articolul detaliază dezvoltarea și testarea AgentSelfEdit, un sistem open-source conceput pentru a îmbunătăți autonom promptul de sistem al unui AI prin analiza feedback-ului de execuție și propunerea de modificări. Provocarea principală abordată este natura subiectivă a optimizării prompturilor, unde metodele tradiționale se bazează pe intuiție, nu pe dovezi statistice. AgentSelfEdit își propune să depășească acest lucru prin implementarea unui sistem cu buclă închisă care include o 'poartă' deterministă pentru a evalua riguros modificările propuse, asigurând adoptarea doar a îmbunătățirilor statistic semnificative.
Sistemul funcționează ca un 'sidecar', observând urmele de execuție și propunând modificări ale promptului printr-un ciclu de analiză, testare și validare. Componenta critică este poarta de promovare deterministă, care cuprinde șase verificări: pragul de eșantionare, mărimea efectului, încrederea (p < 0.05), secțiunile înghețate, distanța de editare și detectarea deriva. Această poartă funcționează fără implicarea LLM, bazându-se exclusiv pe cod și rigoare statistică pentru a preveni degradarea sistemului în timp. A fost descoperit un bug semnificativ în verificarea încrederii, unde un prag incorect (p < 0.95 în loc de p < 0.05) a permis ca zgomotul să fie perceput ca o îmbunătățire.
După corectarea bug-ului, sistemul a parcurs 15 iterații folosind un model local Qwen3.5-4B-4bit. În fiecare iterație, analizatorul a propus o modificare pentru a adăuga reguli de prioritate la un prompt de clasificare, care a arătat o îmbunătățire netă de +3 sarcini în testarea A/B. Cu toate acestea, poarta corectată a respins în mod constant aceste modificări din cauza unui p-value de 0.23, indicând o șansă de 23% de zgomot aleatoriu, care a depășit pragul strict de semnificație de 5%. Acest rezultat subliniază eficacitatea porții în prevenirea modificărilor suboptimale, chiar și atunci când sunt detectate îmbunătățiri reale, deși statistic nesemnificative.
$ sursa --originală
dev.to
Rezumat realizat de Sudofeed pe baza articolului original. Drepturile asupra conținutului aparțin sursei originale.