Remedierea de 6 Linii care a Depășit Întreaga Săptămână de Matcher

Articolul descrie dezvoltarea și testarea CauterRule, un instrument open-source conceput pentru a învăța reguli permanente din eșecurile repetate ale agenților, prin extragerea, testarea și promovarea lecțiilor din traiectoriile eșuate. Autorul s-a concentrat inițial pe îmbunătățirea componentei 'matcher', care face legătura între declanșatori și traiectoriile de referință, petrecând o săptămână pe patru remedieri distincte, inclusiv o eroare în formula de precizie, adăugarea de fraze distinctive, extinderea intrărilor de alias și ridicarea unui prag minim. În ciuda acestor eforturi și a trecerii a 359 de teste de validare, rata de succes 'golden' a crescut doar de la 10% la 20%, indicând că problema principală se afla în altă parte.

Detaliile tehnice relevă că scorul token-F1 al matcher-ului era sub pragul de 0.70, ducând la multe inconcludente de tip 'matcher_gap'. Remediile au inclus corectarea formulei de precizie, implementarea unor mecanisme de fallback pentru fraze specifice de eroare, extinderea hărții de aliasuri pentru mesaje comune de eroare și ajustarea pragului pentru frazele de alias. Deși aceste modificări au rezolvat cu succes incapacitatea matcher-ului de a lega declanșatorii de eșecuri, ele nu au abordat problema fundamentală a declanșatorilor prea largi, care se potriveau și cu rezultate de succes.

În cele din urmă, o simplă remediere de 6 linii în componenta simulatorului, care clasifică potrivirile declanșatorilor cu traiectoriile de referință, a crescut dramatic rata de succes 'golden' de la 20% la 50% pe două modele cloud. Această descoperire a subliniat că autorul optimiza stratul greșit, logica de clasificare a simulatorului fiind adevăratul blocaj. Implicațiile sugerează necesitatea unei analize atente a direcției eforturilor de optimizare, deoarece modificări aparent minore în locul potrivit pot aduce câștiguri disproporționat de mari.