Anthropic lansează un instrument oficial de evaluare pentru Claude Code, instrumentul de prompt engineering migrează

Anthropic a pus la dispoziția publicului instrumentul de evaluare pentru suitele de plugin-uri ale Claude Code, introducând capabilități de testare standardizate cu cazuri generate și ieșiri HTML/JSON. Această lansare l-a determinat pe autorul instrumentului config-drift-checker să își migreze propriul runner compatibil către cel oficial în aceeași zi. Migrarea a implicat abordarea mai multor probleme, inclusiv o listă albă strictă pentru frontmatter care respingea chei personalizate, un parser YAML strict care eșua pe descrieri cu două puncte și un flag `--case` care potrivea nume în loc de directoare, cauzând confuzie inițială.

Funcționalitatea oficială a runner-ului, care șterge apelurile de instrumente și răspunsurile complete la ieșire, a prezentat o provocare semnificativă. Această lipsă de date persistente împiedică analiza acțiunilor agentului și face dificilă distincția între refuzuri autentice și stări necunoscute, afectând sistemul de protecție al autorului care se bazează pe aceste date. În consecință, autorul a trebuit să adapteze mecanismul de etichetare pentru a necesita dovezi concrete, prevenind astfel rezultatele pozitive false pe rezultatele runner-ului oficial.

În timp ce runner-ul oficial se concentrează pe funcționalitatea imediată a plugin-urilor, instrumentul autorului se bazează pe acesta prin adăugarea de funcționalități cruciale precum o bază de referință fixată, urmărirea istorică pe parcursul lansărilor și benzi de zgomot per caz pentru identificarea instabilității. Acest strat îmbunătățit oferă răspunsuri la întrebări despre degradarea performanței în timp și regresii specifice lansărilor, oferind o analiză mai cuprinzătoare decât runner-ul oficial singur. Config-drift-checker actualizat (v0.5.0) a fost lansat în aceeași zi, oferind aceste capabilități avansate peste infrastructura oficială.