Google, Anthropic și alte companii vor susține un nou standard de renunțare la crawling-ul AI

Google, Microsoft, Anthropic și OpenAI au anunțat planuri de susținere a unui standard viitor pentru crawling-ul site-urilor, care ar permite operatorilor să refuze folosirea conținutului lor la antrenarea modelelor AI. Propunerea vizează modul în care crawler-ele automate accesează materialele publicate online și le oferă proprietarilor de site-uri o modalitate de a comunica faptul că acestea nu trebuie utilizate în acest scop. Anunțul contează deoarece dezvoltatorii AI se bazează pe volume mari de conținut web, în timp ce editorii și administratorii site-urilor pot dori un control mai mare asupra colectării și utilizării materialelor lor. Comunicatul descrie susținerea planificată, nu un standard deja implementat.

Articolul prezintă propunerea în contextul fișierului robots.txt, un fișier text folosit de multe site-uri pentru a indica crawler-elor ce pagini sau secțiuni pot accesa. Noul standard ar urma să ofere un mecanism pentru a preciza în mod specific că un conținut trebuie exclus de la antrenarea AI. Companiile menționate sunt Google LLC, Microsoft Corp., Anthropic PBC și OpenAI Group PBC. Articolul nu precizează sintaxa tehnică a standardului, calendarul implementării, mecanismele de aplicare sau dacă toate crawler-ele participante vor respecta instrucțiunile fiecărui site în orice situație.

Dacă va fi adoptat, standardul le-ar putea oferi editorilor o modalitate mai consecventă de a-și comunica preferințele mai multor dezvoltatori AI, însă efectul practic va depinde de implementare și respectarea regulilor. Inițiativa reflectă atenția tot mai mare acordată relației dintre crawling-ul web, drepturile asupra conținutului și datele folosite pentru dezvoltarea sistemelor AI. Următorul pas este publicarea standardului propus și clarificarea modului în care site-urile și crawler-ele îl vor aplica.