Cum a redus Vercel latența de căutare a metadatelor CDN cu 91%

Vercel a redus cu succes latența de căutare a metadatelor CDN cu un impresionant 91% printr-o serie de optimizări țintite. Anterior, CDN-ul prelua și stoca în cache metadate pentru o singură cale pe rând, ceea ce s-a dovedit ineficient pentru implementări mari cu actualizări frecvente. Fiecare nouă implementare invalida intrările din cache, ducând la pierderi recurente de cache și la o latență crescută, pe măsură ce sistemul se lupta să preia metadatele necesare. Acest blocaj a afectat viteza implementărilor și răspunsul general al platformei, în special pentru site-urile cu configurații extinse de rutare.

Esența soluției a implicat regândirea modului în care metadatele erau stocate și accesate. În loc de căutări individuale pe cale, Vercel a început să grupeze metadate pentru mai multe căi în unități mai mari numite fragmente (shards). Aceste fragmente au fost proiectate cu un index inline și au utilizat structuri de date eficiente, inclusiv pointeri codificați Base64 și layout-uri JSONL, pentru a permite identificarea și preluarea rapidă a metadatelor specifice căilor. Această abordare a asigurat că o singură operațiune de preluare a putut popula cache-ul pentru numeroase căi, reducând drastic numărul de pierderi de cache și accelerând căutările ulterioare.

Această optimizare nu numai că a redus latența P99 la căutarea metadatelor, dar a contribuit și la implementări mai rapide. Noua strategie de fragmentare, echilibrată prin experimente de producție pentru a gestiona eficient dimensiunile preluărilor, a făcut CDN-ul Vercel mai robust și mai performant. Compania continuă să rafineze aceste tehnici, demonstrând un angajament față de optimizarea infrastructurii pentru eficiența dezvoltatorilor și experiența utilizatorului.