În culisele Browser-use: Distilarea Arborelui DOM, Ancorarea Vizuală și Agenți Web de Producție

Articolul detaliază arhitectura Browser-use, un proiect open-source în creștere rapidă (peste 100k stele pe GitHub) care abordează problemele de lungă durată ale automatizării web fragile. Metodele tradiționale bazate pe selectori XPath și CSS se defectează frecvent din cauza refactorizării frontend. Browser-use înlocuiește acest lucru cu o abordare autonomă care imită navigarea umană pe web, utilizând interacțiunea cognitivă multimodală pentru a înțelege și a acționa pe paginile web.

Inovația centrală constă în sistemul său de percepție dual-modal. Acesta utilizează distilarea heuristică a arborelui DOM pentru a elimina elementele HTML, scripturile și stilurile neesențiale, reducând dimensiunile masive ale paginilor la un număr gestionabil de tokeni. În același timp, folosește o tehnică de ancorare Set-of-Mark (SoM), suprapunând etichete numerice pe elementele interactive din capturile de ecran. Acest lucru simplifică spațiul de acțiune al LLM-ului, permițându-i să refere elemente după ID, mai degrabă decât prin coordonate imprecise de pixeli, îmbunătățind semnificativ precizia și robustețea execuției acțiunilor.

Browser-use implementează o mașină de stări rezilientă Observe-Reason-Plan-Act-Verify (O-P-A-V) pentru a gestiona fluxuri de lucru complexe, multi-pas, la nivel de întreprindere. Acest ciclu cognitiv permite agentului să se adapteze la schimbări neașteptate, să evite detectarea bot-urilor și să obțină finalizarea fiabilă a sarcinilor, marcând un avans semnificativ față de paradigmele de automatizare moștenite.