Un 200 OK nu este un articol: bug-ul care m-a determinat să-mi scriu propriul strat web în Rust

Un dezvoltator detaliază un bug semnificativ întâlnit în instrumentele pentru agenți AI, unde cererile HTTP returnau cu succes un cod de status 200 OK, iar extractoarele de conținut parcurgeau textul din corpul răspunsului. Cu toate acestea, conținutul efectiv primit nu era articolul intenționat, ci o pagină intermediară de tipul "Verificăm browserul înainte de a continua", determinând modelele AI să genereze rezumate complet incorecte. Acest eșec a apărut deoarece fiecare strat din stivă își îndeplinea funcția fără a verifica dacă pagina primită era cea solicitată efectiv, subliniind o lacună critică în gestionarea cererilor web pentru agenții AI.

Pentru a rezolva această problemă, dezvoltatorul a creat Svipall, un strat web local pentru agenți AI, scris în Rust. Inovația principală a Svipall constă în capacitatea sa de a identifica explicit diferite tipuri de pagini intermediare, clasificându-le după 'tipul de perete' ('wall kind') și oferind 'dovezi de perete' ('wall evidence'), cum ar fi antete HTTP specifice. De exemplu, poate detecta o 'provocare a furnizorului' ('vendor challenge') și nota dovezi precum antetul 'x-kpsdk-ct', permițând agentului să înțeleagă de ce cererea nu a reușit să obțină conținutul intenționat. Acest lucru mută eșecul dintr-o stare silențioasă, care corupe datele, într-una vizibilă și acționabilă, permițând un comportament mai robust al agentului.

Proiectul se concentrează, de asemenea, pe rutare eficientă și gestionarea stării. Svipall memorează rutele reușite, perioadele de așteptare ('cooldowns') și 'pereții' cunoscuți per domeniu, împiedicând agenții să întâmpine în mod repetat aceleași probleme și să irosească resurse. Deși Svipall încearcă să evite amprentarea anti-bot pentru a prelua pagini pe care un browser le-ar afișa, afirmă explicit că nu ocolește autentificarea și nu accesează conținutul protejat prin plată, subliniind utilizarea responsabilă și plasând responsabilitatea conformității legale asupra utilizatorului. Performanța măsurată a proiectului arată îmbunătățiri semnificative în identificarea paginilor problematice, deși recunoaște natura heuristică a clasificărilor sale.