Infrastructura NVIDIA și Google reduce costurile de inferență AI
NVIDIA și Google au anunțat o foaie de parcurs hardware la Google Cloud Next pentru a reduce costul inferenței AI. Noile instanțe bare-metal A5X, alimentate de sistemele NVIDIA Vera Rubin NVL72, urmăresc să reducă semnificativ costurile prin integrarea hardware și software.
Rezumat Detaliat
Google și NVIDIA colaborează pentru a optimiza costurile de inferență AI, așa cum a fost dezvăluit la conferința Google Cloud Next. Companiile au prezentat instanțele bare-metal A5X, care utilizează sistemele NVIDIA Vera Rubin NVL72 la scară de rack. Această arhitectură este concepută pentru a reduce costurile de până la zece ori printr-o combinație de optimizare hardware și software, vizând implementări AI la scară largă.
Instanțele A5X sunt rezultatul unei abordări de codesign între NVIDIA și Google, concentrându-se pe utilizarea eficientă a resurselor. Sistemele Vera Rubin NVL72 oferă infrastructura de bază, în timp ce stiva software Google Cloud este optimizată pentru a funcționa cu hardware-ul NVIDIA. Această integrare este crucială pentru atingerea obiectivelor de performanță și costuri, permițând o inferență AI mai rapidă și mai accesibilă.
Implicațiile acestei colaborări sunt substanțiale pentru industria AI, potențial făcând modelele AI avansate mai accesibile. Prin reducerea barierei financiare de intrare, mai multe organizații pot adopta și implementa soluții AI. Acest lucru ar putea duce la o inovație mai largă și la accelerarea dezvoltării de noi aplicații AI, având un impact asupra diverselor sectoare.
⚠️ Notă: Acesta este un rezumat generat automat. Drepturile asupra conținutului aparțin sursei originale. Citește articolul complet aici
Sursa originală
Citește articolul complet aici
Articole similare
Noua Familie de Modele GPT-5.6 de la OpenAI Îmbunătățește Eficiența și Performanța
OpenAI a lansat noua sa familie de modele GPT-5.6, aducând îmbunătățiri semnificative în capacitățile de raționament și eficiența costurilor. Varianta Luna oferă o reducere de 80% a costurilor, în timp ce varianta Sol atinge performanțe de vârf în benchmark-uri.
Moonshot AI lansează Kimi K3: Primul model AI deschis cu 2.8T parametri
Moonshot AI a lansat Kimi K3, primul model AI cu ponderi deschise și 2.8 trilioane de parametri. Acest nou model este conceput special pentru sarcini avansate de codare și raționament, având ca scop competiția cu modelele proprietare de top.
Sistemul „Karpathy” Promite Îmbunătățirea Fluxurilor de Lucru AI de 701 Ori, Câștigând 86.000 de Stele pe GitHub
Un sistem dezvoltat de Andrej Karpathy, denumit „Sistemul Karpathy”, a câștigat rapid popularitate, ajungând la 86.000 de stele pe GitHub. Acest sistem este conceput pentru a îmbunătăți semnificativ fluxurile de lucru AI, oferind un potențial de îmbunătățire de 701 ori.
Jensen Huang Susține Modele AI Open-Source; BofA Afirmă că Producătorii de Cipuri Sunt Plătiți Oricum
CEO-ul NVIDIA, Jensen Huang, și-a exprimat dorința pentru modele AI open-source, considerând că această abordare stimulează inovația și competiția. Analiștii de la Bank of America sugerează că, indiferent de deschiderea modelului, producătorii de cipuri precum NVIDIA vor continua să profite de cererea în creștere pentru hardware AI.