O singură instanță defectă a rămas neobservată din cauza problemelor de monitorizare și verificări de sănătate

Un incident critic a avut loc unde erorile la finalizarea comenzilor au atins între trei și opt la sută pe parcursul unei joi, însă nu au declanșat alerte din cauza granularității insuficiente a monitorizării și a verificărilor de sănătate defectuoase. Problema provenea de la o singură instanță din douăzeci și patru care experimenta o interfață de rețea degradată, cauzând blocarea aproximativ unuia din zece conexiuni. Eșecul acestei singure instanțe a fost mascat de agregarea la nivel de flotă, unde rata sa de eroare apărea ca o simplă eroare de rotunjire, iar instanța însăși a trecut verificările sintetice de sănătate, raportând că se simte bine în ciuda problemelor de rețea.

Detaliile tehnice relevă că mecanismul de verificare a sănătății a fost inadecvat; acesta a interogat instanța despre propria stare, mai degrabă decât să observe performanța cererilor reale ale utilizatorilor. Mai mult, procesele interne ale instanței funcționau, permițându-i să răspundă pozitiv la verificările de sănătate, în ciuda problemei subiacente de rețea. Acest lucru subliniază o capcană comună în care verificările sintetice nu reflectă experiența reală a utilizatorului, iar tablourile de bord agregate pot ascunde defecțiuni localizate.

Pentru a remedia acest lucru, au fost implementate remedieri structurale, inclusiv afișarea ratelor de eroare și a latenței per instanță pe tablourile de bord ale serviciului, cu alerte pentru deviații semnificative de la mediana flotei. Echilibrantul de sarcină utilizează acum verificări pasive de sănătate, eliminând țintele pe baza eșecurilor reale ale cererilor, nu doar a succeselor sintetice. În plus, evenimentele de sănătate hardware de la furnizor sunt acum integrate în canalul principal de alertare, iar obiceiul operațional s-a schimbat spre investigarea instanțelor suspecte prin eliminarea lor mai întâi din serviciu. Această abordare recunoaște că defecțiunile există adesea într-o stare între funcționare completă și dispariție totală, necesitând metode de detectare mai nuanțate.