
Cum Zo Computer a îmbunătățit fiabilitatea AI de 20 de ori pe Vercel
Zo Computer a îmbunătățit fiabilitatea AI de 20 de ori pe Vercel folosind AI SDK și AI Gateway. Aceasta a dus la îmbunătățiri semnificative ale ratelor de reîncercare, latenței și succesului general al chat-ului, permițând companiei să se concentreze pe dezvoltarea produselor.
Rezumat Detaliat
Zo Computer, un furnizor de cloud AI personal, și-a îmbunătățit semnificativ fiabilitatea AI de 20 de ori după migrarea la AI SDK și AI Gateway de la Vercel. Această îmbunătățire a fost crucială pentru gestionarea a milioane de apeluri de model AI zilnic și pentru asigurarea unei experiențe de utilizare receptivă. Migrarea a abordat complexitățile gestionării codului adaptorului personalizat pentru diverse modele AI și provocările la nivel de infrastructură, cum ar fi reîncercările și rutarea de rezervă, ceea ce a dus la un sistem mai eficient.
Detaliile tehnice implică utilizarea AI SDK de la Vercel, care a oferit o interfață unificată pentru diferite modele AI, simplificând sarcini precum suportul pentru imagini și normalizarea formatului de răspuns. AI Gateway a gestionat complexitățile infrastructurii, inclusiv reîncercările, rutarea de rezervă și monitorizarea stării furnizorului. Această configurare a permis Zo Computer să integreze rapid modele noi, cum ar fi MiniMax M2.7, în doar 30 de secunde, fără a fi nevoie de cod adaptor personalizat sau testare extinsă. Îmbunătățirile au inclus o reducere a ratelor de reîncercare de la 7,5% la 0,34%, o reducere cu 38% a latenței P99 și o rată de succes a chat-ului de 99,93%.
Impactul acestor îmbunătățiri este substanțial, permițând Zo Computer să se concentreze pe dezvoltarea produselor, mai degrabă decât pe întreținerea infrastructurii. Compania poate acum să suporte cu ușurință modele AI noi și să gestioneze ferestre de context mai mari. Îmbunătățirile fiabilității sunt critice pentru scalarea la un milion de utilizatori. Compania poate oferi acum o experiență AI mai receptivă și mai fiabilă. Acest studiu de caz evidențiază importanța unei infrastructuri AI eficiente pentru companiile care doresc să ofere servicii bazate pe AI.
⚠️ Notă: Acesta este un rezumat generat automat. Drepturile asupra conținutului aparțin sursei originale. Citește articolul complet aici
Sursa originală
Citește articolul complet aici
Articole similare

Ministerul Științei și ICT va găzdui a 20-a Competiție de Dezvoltatori Open Source cu un premiu total de 67 de Milioane de Won
Ministerul Științei și ICT organizează a 20-a Competiție de Dezvoltatori Open Source, oferind un premiu total de 67 de milioane de won pentru a încuraja inovația în software-ul open source. Acest eveniment își propune să cultive talentul și să promoveze dezvoltarea și utilizarea tehnologiilor open source în Coreea de Sud.

OPEN MIND adaugă noi capabilități cu suita software CAD/CAM hyperMILL 2026
OPEN MIND a lansat suita software CAD/CAM hyperMILL 2026, introducând noi capabilități și îmbunătățiri semnificative. Această actualizare vizează îmbunătățirea eficienței și preciziei în procesele de fabricație.

Detector de Abuz CI/CD Open-Source Protejează Împotriva Atacurilor cu Credențiale Furate
A fost dezvoltat un nou instrument open-source, numit 'CI-Guard', pentru a detecta și preveni abuzurile în fluxurile de integrare/livrare continuă (CI/CD), vizând în mod specific atacurile care utilizează credențiale furate. Această inițiativă își propune să îmbunătățească securitatea fluxurilor de lucru de dezvoltare software, oferind dezvoltatorilor o soluție gratuită, susținută de comunitate.

FBI a construit un oraș replică pentru simularea atacurilor cibernetice
FBI a inaugurat un Cyber Range de 22.000 de metri pătrați în Huntsville, Alabama, conceput pentru a simula scenarii realiste de atacuri cibernetice. Această facilitate, asemănătoare unui mic oraș cu diverse clădiri și infrastructură, permite agenților să se antreneze și să efectueze cercetări privind amenințările digitale.