Infrastructura NVIDIA și Google reduce costurile de inferență AI
NVIDIA și Google au anunțat o foaie de parcurs hardware la Google Cloud Next pentru a reduce costul inferenței AI. Noile instanțe bare-metal A5X, alimentate de sistemele NVIDIA Vera Rubin NVL72, urmăresc să reducă semnificativ costurile prin integrarea hardware și software.
Rezumat Detaliat
Google și NVIDIA colaborează pentru a optimiza costurile de inferență AI, așa cum a fost dezvăluit la conferința Google Cloud Next. Companiile au prezentat instanțele bare-metal A5X, care utilizează sistemele NVIDIA Vera Rubin NVL72 la scară de rack. Această arhitectură este concepută pentru a reduce costurile de până la zece ori printr-o combinație de optimizare hardware și software, vizând implementări AI la scară largă.
Instanțele A5X sunt rezultatul unei abordări de codesign între NVIDIA și Google, concentrându-se pe utilizarea eficientă a resurselor. Sistemele Vera Rubin NVL72 oferă infrastructura de bază, în timp ce stiva software Google Cloud este optimizată pentru a funcționa cu hardware-ul NVIDIA. Această integrare este crucială pentru atingerea obiectivelor de performanță și costuri, permițând o inferență AI mai rapidă și mai accesibilă.
Implicațiile acestei colaborări sunt substanțiale pentru industria AI, potențial făcând modelele AI avansate mai accesibile. Prin reducerea barierei financiare de intrare, mai multe organizații pot adopta și implementa soluții AI. Acest lucru ar putea duce la o inovație mai largă și la accelerarea dezvoltării de noi aplicații AI, având un impact asupra diverselor sectoare.
⚠️ Notă: Acesta este un rezumat generat automat. Drepturile asupra conținutului aparțin sursei originale. Citește articolul complet aici
Sursa originală
Citește articolul complet aici
Articole similare
DXC va integra Claude de la Anthropic în sistemele pentru industrii reglementate
DXC Technology colaborează cu Anthropic pentru a integra asistentul AI Claude în soluțiile sale cloud pentru companii. Această integrare vizează aducerea capabilităților AI avansate în sectoare critice precum sectorul bancar și cel aviatic, îmbunătățind eficiența operațională și serviciile pentru clienți. Colaborarea se concentrează pe oferirea unei implementări AI sigure și fiabile pentru industriile cu cerințe de reglementare stricte.
Anthropic Răspunde Directivei Guvernului SUA de Suspendare a Accesului la Fable 5 și Mythos 5
Anthropic a emis o declarație referitoare la o directivă a guvernului SUA de suspendare a accesului la modelele sale Fable 5 și Mythos 5. Compania cooperează cu directiva, subliniind în același timp angajamentul său față de siguranță și dezvoltarea responsabilă a AI.
Guvernul SUA dispune Anthropic să retragă modelele Fable 5 și Mythos 5
Anthropic a fost obligat de guvernul SUA să dezactiveze noile sale modele AI, Fable 5 și Mythos 5, la doar trei zile după lansare. Această acțiune survine în urma unei dispoziții guvernamentale federale, ale cărei detalii specifice nu sunt prezentate, dar care se referă la reglementările de export.
DiffusionGemma: Noul LLM Open de la Google Atinge 1.000 Tokeni/sec și Schimbă Economia Inferenței
Google DeepMind a lansat DiffusionGemma, un LLM open-weight care utilizează difuzia discretă pentru generarea de text, atingând peste 1.000 de tokeni/sec pe un singur GPU H100. Această nouă arhitectură procesează tokenii în blocuri, oferind îmbunătățiri semnificative de viteză față de modelele autoregresive tradiționale, în detrimentul unei precizii ușor reduse.