Meta introduce ZippyDB Proxy ZGateway pentru a îmbunătăți controlul și scalabilitatea

Meta a introdus ZGateway, un strat proxy stateless poziționat între clienții ZippyDB și flota ZServer, pentru a aborda provocări semnificative de scalabilitate. Problema principală abordată este fragilitatea rețelei de conexiuni care apare atunci când un sistem de stocare cheie-valoare deservește peste un milion de clienți, unde un singur client poate interacționa cu zeci de mii de shard-uri. Această interacțiune duce la o rețea densă de conexiuni TLS care consumă resurse substanțiale atât pe partea clientului, cât și pe partea serverului, rezultând adesea în blocarea gazdelor din cauza epuizării descriptorilor de fișiere sau a condițiilor de memorie insuficientă.

Arhitectura ZGateway redefinește fundamental interacțiunea client-bază de date, limitând-o la hop-uri gestionate. Utilizează punctul său central de vedere pentru a grupa și a coalesca cererile, a impune controlul de admitere, a echilibra sarcinile inegale ale gazdelor, a stoca în cache datele accesate frecvent și a direcționa dinamic traficul în jurul congestiei regionale. Această abordare reduce semnificativ numărul de conexiuni directe necesare, transformând o rețea complexă de tip many-to-many într-un mediu mai gestionabil și controlat. Meta raportează că ZGateway gestionează peste 1 miliard de operațiuni pe secundă, administrează aproximativ 40% din traficul ZippyDB și introduce doar aproximativ 6% suprasarcină computațională.

Implicațiile ZGateway depășesc simpla optimizare a performanței; reprezintă o schimbare strategică către controlul centralizat al politicilor operaționale, al limitării defecțiunilor și al vizibilității îmbunătățite în ecosistemul ZippyDB. Prin mutarea acestor funcții critice într-un strat proxy dedicat, Meta obține capacitatea de a le gestiona și actualiza independent de flota extinsă de clienți, care este dificil de coordonat datorită dimensiunii sale masive și a proprietății diverse. Această schimbare arhitecturală este crucială pentru menținerea stabilității și permiterea creșterii viitoare pentru unul dintre cele mai utilizate sisteme de stocare cheie-valoare ale Meta.