Copierea handshake-ului TLS al Chrome a deblocat accesul la web

Acest experiment a investigat modul în care site-urile web blochează clienții automați, analizând handshake-ul TLS și antetele HTTP. Cercetătorul a testat trei configurații de client pe 500 de domenii: un script Python standard, un script Python care utiliza șirul user agent al Chrome și un script Python care imita complet handshake-ul TLS al Chrome, inclusiv suitele de cifrare, extensiile și setările HTTP/2. Rezultatele au arătat o reducere semnificativă a refuzurilor de conexiune atunci când clientul a adoptat handshake-ul Chrome, indicând că multe servere filtrează pe baza amprentelor TLS ușor de falsificat.

Studiul a constatat că simpla modificare a șirului user agent a redus refuzurile cu aproximativ 20%, în timp ce replicarea completă a handshake-ului TLS al Chrome a scăzut refuzurile cu aproximativ 25% din cererile blocate rămase. Combinate, aceste modificări au deschis cu aproape 40% mai mult acces. În mod notabil, 18 domenii specifice, inclusiv platforme majore precum Facebook și servicii Google, au refuzat constant clientul Python onest, dar au servit pe cel complet deghizat, demonstrând o dependență larg răspândită de amprentarea TLS pentru detectarea roboților.

Cu toate acestea, experimentul a subliniat, de asemenea, că, chiar și cu o amprentă Chrome perfectă, aproximativ 20% dintre site-uri au refuzat în continuare accesul, adesea din cauza filtrării reputației adresei IP. Constatarea principală este că o mare parte din detectarea roboților de pe web se bazează pe semnale ieftine de falsificat, blocând eficient instrumentele legitime precum cititoarele de feed-uri și crawlerele academice, în timp ce scraperii comerciali cu bugete pot ocoli cu ușurință aceste apărări prin imitarea amprentelor browserului. Acest lucru sugerează o necesitate de mecanisme de detectare a roboților mai robuste și mai greu de ocolit.