Cum Zo Computer a îmbunătățit fiabilitatea AI de 20 de ori pe Vercel

Zo Computer, un furnizor de cloud AI personal, și-a îmbunătățit semnificativ fiabilitatea AI de 20 de ori după migrarea la AI SDK și AI Gateway de la Vercel. Această îmbunătățire a fost crucială pentru gestionarea a milioane de apeluri de model AI zilnic și pentru asigurarea unei experiențe de utilizare receptivă. Migrarea a abordat complexitățile gestionării codului adaptorului personalizat pentru diverse modele AI și provocările la nivel de infrastructură, cum ar fi reîncercările și rutarea de rezervă, ceea ce a dus la un sistem mai eficient.

Detaliile tehnice implică utilizarea AI SDK de la Vercel, care a oferit o interfață unificată pentru diferite modele AI, simplificând sarcini precum suportul pentru imagini și normalizarea formatului de răspuns. AI Gateway a gestionat complexitățile infrastructurii, inclusiv reîncercările, rutarea de rezervă și monitorizarea stării furnizorului. Această configurare a permis Zo Computer să integreze rapid modele noi, cum ar fi MiniMax M2.7, în doar 30 de secunde, fără a fi nevoie de cod adaptor personalizat sau testare extinsă. Îmbunătățirile au inclus o reducere a ratelor de reîncercare de la 7,5% la 0,34%, o reducere cu 38% a latenței P99 și o rată de succes a chat-ului de 99,93%.

Impactul acestor îmbunătățiri este substanțial, permițând Zo Computer să se concentreze pe dezvoltarea produselor, mai degrabă decât pe întreținerea infrastructurii. Compania poate acum să suporte cu ușurință modele AI noi și să gestioneze ferestre de context mai mari. Îmbunătățirile fiabilității sunt critice pentru scalarea la un milion de utilizatori. Compania poate oferi acum o experiență AI mai receptivă și mai fiabilă. Acest studiu de caz evidențiază importanța unei infrastructuri AI eficiente pentru companiile care doresc să ofere servicii bazate pe AI.