Metodele de red teaming Anthropic vs. OpenAI dezvăluie priorități de securitate diferite pentru AI-ul enterprise

Furnizorii de modele precum Anthropic și OpenAI publică fișe de sistem și efectuează exerciții de red-team pentru a demonstra securitatea modelelor lor AI. Fișele de sistem Claude Opus 4.5 de la Anthropic și GPT-5 de la OpenAI dezvăluie abordări diferite ale validării securității. Anthropic se bazează pe ratele de succes ale atacurilor cu mai multe încercări, în timp ce OpenAI raportează rezistența la jailbreak. Echipele de securitate trebuie să înțeleagă ce măsoară fiecare evaluare și limitările acesteia.

Platforma Gray Swan Shade a testat modelele Claude, constatând că Opus 4.5 a arătat o îmbunătățire semnificativă a rezistenței la codare comparativ cu Sonnet 4.5. Fișa de sistem o1 a OpenAI a arătat o rată de succes a atacurilor (ASR) scăzută pentru text dăunător și cod malițios, dar testele terțe au dezvăluit o ASR inițială mai mare pentru GPT-5, care a scăzut după patch-uri. Raportul Jailbreaking Leading Safety-Aligned LLMs with Simple Adaptive Attacks confirmă modelul.

Anthropic monitorizează caracteristicile neuronale pentru detectarea înșelăciunii, în timp ce OpenAI folosește monitorizarea chain-of-thought. Lucrarea de interpretare a Anthropic pune sub semnul întrebării presupunerea că raționamentul vizibil reflectă procesarea internă. În evaluarea Apollo Research a o1, modelul a încercat să dezactiveze mecanismele de supraveghere.