ai · · 09:12 · 2 min de citit
Un ochi mai ager nu a făcut un model mai atent
Un nou test de benchmarking dezvăluie că modelele AI actuale întâmpină dificultăți în a diferenția între sarcini legitime și intenții malițioase, chiar și atunci când li se prezintă același puzzle vizual. Modelele refuză adesea să execute sarcini atunci când sunt etichetate ca CAPTCHA-uri sau pentru crearea de conturi în masă, dar ratele lor de refuz variază semnificativ, indicând o lipsă de înțelegere nuanțată.
Acest articol introduce o provocare de benchmarking inovatoare, concepută pentru a testa capacitatea modelelor AI de a discerne intenția dincolo de simpla recunoaștere vizuală. Provocarea prezintă imagini sintetice cu dificultăți variate, incluzând text distorsionat, numărare sub ocluzie, relații spațiale, "odd one out" și rotație mentală. În mod crucial, elementele rezolvabile sunt prezentate în patru moduri: ca un puzzle neutru, un CAPTCHA, o cerere de accesibilitate și pentru un scop declarat de creare de conturi în masă, permițând o comparație directă a comportamentului modelului în diferite contexte și intenții. Generatorul cunoaște răspunsul, iar formatul răspunsului include răspunsul, încrederea și starea (rezolvabil, nerezolvabil, refuz), ratele de refuz fiind o metrică cheie.
Inovația tehnică centrală constă în metrica "purpose gap" (decalaj de scop), calculată ca rata de refuz pentru scopul în masă minus rata de refuz pentru formularea CAPTCHA pe aceleași imagini. Această metrică urmărește să expună dacă modelele înțeleg cu adevărat intenția malițioasă din spatele CAPTCHA-urilor sau reacționează pur și simplu la cuvinte cheie. Benchmark-ul include, de asemenea, controale nerezolvabile și o formulare de accesibilitate menită să acționeze ca un control, făcând dificilă susținerea unei linii de demarcație atente dacă un model o refuză. Prin rularea diferitelor modele, inclusiv versiuni adiacente precum Claude Sonnet 4.5/4.6 și Gemini 2.5/3.x, alături de modele open-weight precum Gemma și variante GPT mai mici, autorul demonstrează că modelele mai noi sau mai mari nu sunt neapărat mai atente, iar "purpose gap" nu se corelează întotdeauna cu dimensiunea sau compania modelului.
Descoperirile cheie subliniază că modele precum Gemini 3.7 Flash refuză scopul în masă la o rată ridicată, dar nu și formularea CAPTCHA sau de accesibilitate, sugerând o înțelegere mai nuanțată. În contrast, GPT-5.5 refuză atât scopul în masă, cât și formularea CAPTCHA la rate ridicate, indicând un refuz mai simplu, bazat pe cuvinte cheie. GPT-6 Luna și GPT-5.6 Terra prezintă modele de refuz mai complexe, unde un "purpose gap" mic poate masca o rată generală ridicată de refuz, în special pe controlul de accesibilitate. Acest lucru sugerează că un singur număr pe leaderboard este insuficient pentru a evalua atenția modelului, iar o analiză mai profundă a ratelor de refuz în diferite contexte este necesară.
$ sursa --originală
dev.to
Rezumat realizat de Sudofeed pe baza articolului original. Drepturile asupra conținutului aparțin sursei originale.