Caută în știri
27 de rezultate pentru „ai inference”
- 08:14hardwareTogether AI folosește agenți de programare pentru optimizarea codului GPU, dar păstrează controlul uman asupra implementăriiTogether AI folosește agenți de programare pentru a automatiza optimizarea codului GPU care susține infrastructura sa de inference. Oamenii aprobă în continuare implementările, păstrând un punct de control manual între modificările generate de agenți și producție.
- 04.11 · 08:11aiStartupul de inferență pentru media generativă fal atrage 1,3 miliarde de dolari la o evaluare de 16 miliarde de dolariStartupul de inferență pentru media generativă fal a atras 1,3 miliarde de dolari la o evaluare de 16 miliarde de dolari, potrivit Bloomberg. Compania intenționează să folosească finanțarea pentru a-și extinde capacitatea de calcul și echipa, care are în prezent 185 de angajați.
- 24.10 · 09:17hardwareNeuroSpark adaugă GPU-uri AMD Instinct pe OCI pentru inferență AINeuroSpark a anunțat că folosește GPU-uri AMD Instinct pe Oracle Cloud Infrastructure, împreună cu software-ul ROCm, pentru a extinde opțiunile hardware pentru sarcini AI. Anunțul scurt nu oferă detalii despre modelele GPU, amploarea implementării sau performanță.
- 22.10 · 08:09devVS Code 1.143 setează Copilot ca implicit și adaugă comparații între modele AI și inferență localăArticolul spune că VS Code 1.143 setează Copilot ca opțiune implicită și adaugă funcții experimentale pentru compararea modelelor AI și rularea locală a AI fără consum de credite. Actualizarea include și instrumente pentru gestionarea codului generat de agenți și a spațiului de stocare asociat.
- 21.10 · 09:10devllm-d 1.0 consolidează inferența AI open-source pentru operarea în producțieArticolul anunță llm-d 1.0 și îl prezintă drept un proiect care consolidează inferența AI open-source pentru operarea continuă în producție. Textul furnizat nu include specificații tehnice, detalii despre lansare sau o descriere a modificărilor.
- 13.10 · 09:07aiMeta Îmbunătățește Recomandările de Reclame Utilizând Capacitatea de Inferență AI InactivăMeta a dezvoltat un sistem pentru a îmbunătăți recomandările de reclame prin utilizarea capacității de inferență AI inactive din infrastructura sa. Această inovație permite scalarea sarcinilor de recomandare a reclamelor pe resurse oportuniste, fără a afecta performanța de bază, demonstrând o gestionare eficientă a resurselor.
- 10.10 · 09:18hardwareUpbeat Technology Bluemag Pi Combină Procesoare RISC-V și Inferență AI pentru Control Avansat al ZboruluiUpbeat Technology a lansat Bluemag Pi, o nouă placă de calcul embedded destinată sistemelor avansate de control al zborului. Această placă integrează procesoare RISC-V cu capabilități dedicate de inferență AI, având ca scop îmbunătățirea performanței și eficienței vehiculelor aeriene fără pilot (UAV) și a altor aplicații aerospațiale.
- 09.10 · 09:05aiCoreWeave vizează blocajele de inferență AI cu optimizare full-stackInferența AI devine un factor critic în economia boom-ului AI, mutând accentul de la capacitatea brută de GPU la servirea modelelor mai rapidă și mai ieftină. Furnizorii specializați de cloud își extind ofertele dincolo de GPU-uri pentru a include stocare, rețelistică și software, pentru a răspunde acestei cereri în evoluție.
- 06.10 · 21:07aiAntseed lansează o piață descentralizată pentru inferență AI, reducând costurile dezvoltatorilorAntseed a lansat o nouă piață peer-to-peer menită să reducă semnificativ costul accesării capabilităților de inferență AI pentru dezvoltatori. Prin conectarea directă a dezvoltatorilor cu furnizori independenți și mainstream, ocolește gateway-urile centralizate tradiționale, oferind acces la modele de ultimă generație la o fracțiune din prețul obișnuit.
- 05.10 · 21:09devPariul Baseten de 13 miliarde de dolari pe o cerere de inferență de 100x și open source ca antidot pentru AI-ul centralizatBaseten a strâns 13 miliarde de dolari, mizând pe o creștere de 100x a cererii de inferență AI și poziționând open source ca o contramăsură crucială la platformele AI centralizate. Compania își propune să răspundă nevoii crescânde de implementare și scalare eficientă a modelelor AI.
- 05.10 · 21:00aiIterate.ai lansează motorul de inferență Lifeboat pentru a crește sesiunile agenților AICompania de AI pentru întreprinderi Iterate Studio Inc. a lansat Lifeboat, un nou motor de inferență pentru modele lingvistice mari, cu calcul confidențial integrat. Acest motor permite, conform datelor, de două până la șase ori mai multe sesiuni concurente de agenți AI per GPU, abordând o provocare cheie legată de memorie pentru agenții AI.
- 05.10 · 09:10aiClaude de la Anthropic disponibil în India prin Amazon Bedrock cu inferență în țarăModelul AI Claude de la Anthropic a fost lansat în India, oferind utilizatorilor acces prin Amazon Bedrock. Această integrare permite inferența în țară, sporind confidențialitatea datelor și reducând latența pentru utilizatorii indieni.
- 04.10 · 21:07aiModelele OpenAI au optimizat inferența Astra Ultrafast pe GPU-uri NvidiaOpenAI a anunțat că propriile sale modele au fost utilizate pentru a optimiza performanța de inferență a Astra Ultrafast, un nou model AI dezvoltat de Astra. Această optimizare vizează în mod specific GPU-urile Nvidia, având ca scop îmbunătățirea eficienței și vitezei pentru calculele AI.
- 03.10 · 09:03hardwareCam Quilici: Nvidia Vera Rubin oferă un câștig de 3 ori la servire, transformând inferența open-source într-o "imprimantă de bani"GPU-ul Nvidia Vera Rubin obține, conform rapoartelor, o performanță de servire de trei ori mai mare comparativ cu generațiile anterioare, sporind semnificativ eficiența inferenței AI open-source. Acest avans este subliniat ca un factor cheie în a face modelele AI open-source mai viabile economic pentru implementare.
- 03.10 · 09:01aiDescoperită Vulnerabilitate Critică Zero-Day într-un Motor de Inferență AI MajorA fost descoperită o vulnerabilitate critică zero-day într-un motor de inferență AI utilizat pe scară largă, permițând atacatorilor să execute cod de la distanță și să compromită serverele enterprise. Defectul, găsit în subsistemul de gestionare a memoriei, subliniază nevoia urgentă de securitate sporită în infrastructura AI.
- 02.10 · 09:18hardwareMotorul de Inferență AI Magnitude Suportă Acum CPU-uri Apple Silicon, NVIDIA și AMDMagnitude, un motor de inferență pentru agenți AI, și-a anunțat compatibilitatea cu procesoarele Apple Silicon, NVIDIA și AMD. Această extindere permite motorului să optimizeze automat hardware-ul pentru accelerarea modelelor deschise, dublându-le potențial viteza.
- 29.09 · 09:06hardwareAcceleratorul AI Forlinx M.2 de 20-TOPS suportă cascada PCIe pentru inferența LLM localăForlinx a lansat un nou accelerator AI M.2 capabil de 20 TOPS, conceput pentru inferență LLM locală eficientă. Acesta dispune de cascada PCIe, permițând conectarea mai multor unități pentru performanțe sporite.
- 28.09 · 21:04hardwareOpenAI Jalapeño - Interviu cu șeful departamentului Hardware despre designul cipului de inferențăOpenAI a publicat transcrierea unui interviu care detaliază procesul de design al cipului său de inferență Jalapeño. Discuția se concentrează pe inovațiile hardware și deciziile strategice din spatele dezvoltării cipului.
- 28.09 · 21:04hardwareASIC-ul personalizat Jalapeno de la OpenAI pentru inferență AI este pentru uz intern, dar compania lasă ușa deschisă pentru o lansare mai largăOpenAI a dezvoltat un cip ASIC personalizat numit Jalapeno, conceput special pentru sarcinile de inferență AI. Deși în prezent este destinat uzului intern, compania a indicat posibilitatea unei lansări mai largi în viitor.
- 25.09 · 21:05aiCoreWeave își extinde oferta cloud AI full-stack pe fondul creșterii cererii pentru inferențăFurnizorul de cloud nativ AI, CoreWeave, își extinde infrastructura pentru a satisface cererea crescândă de inferență AI, marcând o tranziție de la accentul inițial pe antrenarea modelelor AI. Compania a integrat și validat cu succes Nvidia Vera Rubin NVL72, subliniind angajamentul său de a oferi soluții cloud specializate pentru sarcinile de lucru AI.
- 23.09 · 09:00hardwareNVIDIA Introduce Inferența AI Confidențială pe GPU-uri BlackwellNVIDIA a activat calculul confidențial pentru inferența AI pe GPU-urile sale Blackwell, asigurând confidențialitatea datelor în timpul procesărilor sensibile. Această funcționalitate menține niveluri înalte de performanță, făcând procesarea AI securizată o realitate.
- 20.09 · 21:11aiNVIDIA Vera Rubin NVL72 Obține Performanță de Top în MLPerf Inference v6.1Noul sistem Vera Rubin NVL72 de la NVIDIA a debutat pe primul loc în benchmark-ul MLPerf Inference v6.1, demonstrând performanță de vârf pentru sarcinile de inferență AI. Această realizare subliniază importanța performanței sistemului, scalării eficiente și optimizării software în economia inferenței AI.
- 18.09 · 21:12devKubernetes poate rula inferență AI, dar poate urmări costul real?Acest articol explorează capacitatea Kubernetes de a rula sarcini de inferență AI, punând sub semnul întrebării abilitatea sa de a urmări cu precizie costurile asociate. Subliniază complexitatea atribuirii costurilor în medii cloud-native pentru sarcinile AI.
- 10.09 · 09:07aiLightbits lansează Inferra pentru a îmbunătăți performanța inferenței AILightbits Labs a introdus Inferra, un nou motor software destinat optimizării performanței și costurilor inferenței AI. Prin relocarea datelor din cache de tip key-value din memoria limitată a GPU-ului către stocare externă, Inferra încearcă să depășească blocajele hardware actuale.
- 08.09 · 21:28devCNCF Urează Bun Venit Noilor Membri Silver pe Măsură ce Companiile Extind AI de la Antrenament la InferențăCloud Native Computing Foundation (CNCF) a anunțat adăugarea mai multor noi membri Silver, reflectând o tendință crescândă a companiilor de a-și extinde inițiativele AI. Această expansiune subliniază importanța tot mai mare a tehnologiilor cloud-native în sprijinirea atât a sarcinilor de antrenament AI, cât și a celor de inferență.
- 07.09 · 09:14aiValorifică-ți Puterea de Calcul Liberă Închiriind-o pentru Inferență AIPlatforme noi permit persoanelor fizice și afacerilor mici să-și închirieze puterea de calcul liberă, de la servere de acasă sau PC-uri de gaming, pentru sarcini de inferență AI. Aceasta oferă o modalitate de a genera venituri pasive, răspunzând cererii crescânde de resurse de calcul necesare companiilor AI, în special pentru rularea modelelor open-source mai mici.
- 02.09 · 09:11aiNVIDIA Detaliază Dimensionarea GPU-urilor pentru Inferența AI și Optimizarea TCONVIDIA a publicat un ghid despre cum să dimensionați corect GPU-urile pentru sarcinile de inferență AI, concentrându-se pe echilibrarea performanței cu costul total de proprietate (TCO). Aceste informații sunt cruciale pentru companiile care doresc să-și scaleze eficient implementările de generare AI.
