Crawlerele OpenAI Redau Acum JavaScript, Ducând la Trafic Crescut și Redare de Site-uri

Pe 25 septembrie 2026, crawlerele OpenAI, în special OAI-SearchBot și GPTBot, și-au modificat metoda de accesare a site-urilor web prin inițierea redării JavaScript, o abatere de la practica lor anterioară de a prelua doar conținutul HTML. Această schimbare a fost detectată prin jurnalele serverului și confirmată prin analiza modelelor de solicitări, care au arătat o creștere dramatică a solicitărilor de prefetch, în special pe site-urile Next.js. Implicațiile sunt semnificative, deoarece această nouă capacitate de redare permite probabil OpenAI să colecteze conținut mai bogat și mai dinamic pentru modelele sale AI și funcționalitățile de căutare, afectând potențial modul în care site-urile web sunt indexate și prezentate.

Tehnic, creșterea traficului observată constă în mare parte din prefetch-uri de linkuri Next.js, identificate prin parametri specifici URL care nu sunt prezenți în preluările HTML statice. În timp ce traficul OAI-SearchBot a crescut semnificativ, activitatea GPTBot a înregistrat o creștere și mai pronunțată, o mare parte din solicitările sale fiind aceste prefetch-uri. Acest lucru sugerează că OpenAI utilizează acum browsere headless pentru a reda pagini, captând conținut dinamic care anterior era inaccesibil. Datele indică faptul că un procent mare din HTML-ul redat nu a fost preluat recent, sugerând că OpenAI ar putea re-reda conținut stocat anterior, posibil pentru a consolida datele de crawl între diferitele sale boți, așa cum este sugerat de propria documentație OpenAI.

Această evoluție are implicații directe pentru proprietarii de site-uri web și dezvoltatori, în special în ceea ce privește SEO și vizibilitatea conținutului în ChatGPT. Creșterea observată a traficului ChatGPT către secțiuni specifice, cum ar fi paginile de joburi de pe site-ul autorului, coincizând cu modificările crawlerelor, sugerează o legătură potențială între conținutul redat și ieșirea ChatGPT. Administratorii de site-uri web sunt sfătuiți să se asigure că fișierele lor robots.txt permit OAI-SearchBot și să verifice dacă sistemele lor de protecție împotriva boților nu blochează inadvertent intervalele IP ale OpenAI, care au fost, de asemenea, actualizate.