Cum Zo Computer a îmbunătățit fiabilitatea AI de 20 de ori pe Vercel
Zo Computer a îmbunătățit fiabilitatea AI de 20 de ori pe Vercel folosind AI SDK și AI Gateway. Aceasta a dus la îmbunătățiri semnificative ale ratelor de reîncercare, latenței și succesului general al chat-ului, permițând companiei să se concentreze pe dezvoltarea produselor.
Rezumat Detaliat
Zo Computer, un furnizor de cloud AI personal, și-a îmbunătățit semnificativ fiabilitatea AI de 20 de ori după migrarea la AI SDK și AI Gateway de la Vercel. Această îmbunătățire a fost crucială pentru gestionarea a milioane de apeluri de model AI zilnic și pentru asigurarea unei experiențe de utilizare receptivă. Migrarea a abordat complexitățile gestionării codului adaptorului personalizat pentru diverse modele AI și provocările la nivel de infrastructură, cum ar fi reîncercările și rutarea de rezervă, ceea ce a dus la un sistem mai eficient.
Detaliile tehnice implică utilizarea AI SDK de la Vercel, care a oferit o interfață unificată pentru diferite modele AI, simplificând sarcini precum suportul pentru imagini și normalizarea formatului de răspuns. AI Gateway a gestionat complexitățile infrastructurii, inclusiv reîncercările, rutarea de rezervă și monitorizarea stării furnizorului. Această configurare a permis Zo Computer să integreze rapid modele noi, cum ar fi MiniMax M2.7, în doar 30 de secunde, fără a fi nevoie de cod adaptor personalizat sau testare extinsă. Îmbunătățirile au inclus o reducere a ratelor de reîncercare de la 7,5% la 0,34%, o reducere cu 38% a latenței P99 și o rată de succes a chat-ului de 99,93%.
Impactul acestor îmbunătățiri este substanțial, permițând Zo Computer să se concentreze pe dezvoltarea produselor, mai degrabă decât pe întreținerea infrastructurii. Compania poate acum să suporte cu ușurință modele AI noi și să gestioneze ferestre de context mai mari. Îmbunătățirile fiabilității sunt critice pentru scalarea la un milion de utilizatori. Compania poate oferi acum o experiență AI mai receptivă și mai fiabilă. Acest studiu de caz evidențiază importanța unei infrastructuri AI eficiente pentru companiile care doresc să ofere servicii bazate pe AI.
⚠️ Notă: Acesta este un rezumat generat automat. Drepturile asupra conținutului aparțin sursei originale. Citește articolul complet aici
Sursa originală
Citește articolul complet aici
Articole similare
Google permite agenților AI terți să controleze casa inteligentă prin Model Context Protocol
Google integrează agenți AI terți, precum Claude și Open Claw, în ecosistemul Google Home prin noul Model Context Protocol (MCP). Aceasta permite agenților să acceseze și să controleze în siguranță dispozitivele conectate, să analizeze datele casei și să acționeze în numele utilizatorilor în mediul casei inteligente.
Vârsta ta „de sănătate” este falsă
Noua funcție „Health Age” de la Apple, alături de metrici similare de la dispozitive purtabile precum Whoop, este criticată pentru că este un indicator nesigur și potențial înșelător al vârstei fiziologice. Aceste metrici, deși vizează motivarea utilizatorilor, adesea le lipsește rigoarea științifică și pot fi ușor influențate de factori pe termen scurt, făcându-le mai puțin semnificative pentru evaluarea sănătății pe termen lung.
Apple ia în considerare revenirea pe piața serverelor pentru AI
Apple explorează o posibilă revenire pe piața serverelor, posibil în parteneriat cu Nvidia, pentru a valorifica cererea crescută de putere de calcul pentru AI. Compania a renunțat anterior la linia sa Xserve în 2011, dar vede o oportunitate cu procesoarele sale ARM M eficiente, deja populare printre dezvoltatorii AI.
Denuvo dă în judecată crackerul anonim de jocuri 'voices38' pentru presupusa ocolire a DRM, solicitând daune
Denuvo dă în judecată un cracker anonim de jocuri, cunoscut sub numele de 'voices38', pentru presupusa ocolire a protecțiilor sale Digital Rights Management (DRM) pe 26 de jocuri. Procesul se bazează pe prevederile anti-ocolire ale DMCA, în loc de acuzații tradiționale de încălcare a drepturilor de autor.