Caută în știri_

38 de rezultate pentru „inference”

• 08:14hardwareTogether AI folosește agenți de programare pentru optimizarea codului GPU, dar păstrează controlul uman asupra implementăriiTogether AI folosește agenți de programare pentru a automatiza optimizarea codului GPU care susține infrastructura sa de inference. Oamenii aprobă în continuare implementările, păstrând un punct de control manual între modificările generate de agenți și producție.
  
• 04.11 · 08:12aiAnthropic publică open-source FlashProve, un prototip de inferență verificabilă pentru modele MoEAnthropic a publicat open-source FlashProve, un prototip conceput pentru a face verificabilă inferența pentru modelele mixture-of-experts (MoE). Articolul furnizat nu include detalii suplimentare despre implementare, specificații sau disponibilitate.
  
• 04.11 · 08:11aiStartupul de inferență pentru media generativă fal atrage 1,3 miliarde de dolari la o evaluare de 16 miliarde de dolariStartupul de inferență pentru media generativă fal a atras 1,3 miliarde de dolari la o evaluare de 16 miliarde de dolari, potrivit Bloomberg. Compania intenționează să folosească finanțarea pentru a-și extinde capacitatea de calcul și echipa, care are în prezent 185 de angajați.
  
• 03.11 · 08:11aiAnthropic raportează progrese în verificarea formală a inferenței pentru modelele lingvistice mariAnthropic afirmă că sistemul FlashProve poate genera dovezi pentru Llama 4 Maverick cu aproximativ 110 de tokeni pe secundă pe un singur GPU H100. Relatarea nu oferă detalii suplimentare despre metoda de demonstrare sau despre limitările acesteia.
  
• 24.10 · 09:17hardwareNeuroSpark adaugă GPU-uri AMD Instinct pe OCI pentru inferență AINeuroSpark a anunțat că folosește GPU-uri AMD Instinct pe Oracle Cloud Infrastructure, împreună cu software-ul ROCm, pentru a extinde opțiunile hardware pentru sarcini AI. Anunțul scurt nu oferă detalii despre modelele GPU, amploarea implementării sau performanță.
  
• 23.10 · 08:16hardwareAMD și Intel colaborează pentru o cale unificată de inferență PyTorch pe CPUAMD și Intel lucrează pentru a reuni optimizările de inferență PyTorch pe CPU în biblioteca oneDNN. Inițiativa urmărește să ofere o cale unificată de execuție a inferenței pe procesoarele celor două companii.
  
• 22.10 · 08:14aiDeepSeek face open-source DeepInfer, frameworkul său de inferență pentru servicii de producțieDeepSeek a publicat ca open-source DeepInfer, frameworkul de inferență utilizat pentru serviciile sale de producție. Lansarea vizează provocarea de a oferi acces la modele mari unui număr mare de utilizatori la un cost rezonabil.
  
• 22.10 · 08:09devVS Code 1.143 setează Copilot ca implicit și adaugă comparații între modele AI și inferență localăArticolul spune că VS Code 1.143 setează Copilot ca opțiune implicită și adaugă funcții experimentale pentru compararea modelelor AI și rularea locală a AI fără consum de credite. Actualizarea include și instrumente pentru gestionarea codului generat de agenți și a spațiului de stocare asociat.
  
• 21.10 · 09:10devllm-d 1.0 consolidează inferența AI open-source pentru operarea în producțieArticolul anunță llm-d 1.0 și îl prezintă drept un proiect care consolidează inferența AI open-source pentru operarea continuă în producție. Textul furnizat nu include specificații tehnice, detalii despre lansare sau o descriere a modificărilor.
  
• 21.10 · 08:18aiDeepSeek publică open-source motorul de inferență din spatele API-ului său, menționând Huawei la egalitate cu NvidiaDeepSeek a publicat open-source motorul de inferență pe care îl folosește pentru a-și servi modelele în producție. Articolul menționează și Huawei alături de Nvidia, dar nu oferă alte detalii tehnice.
  
• 13.10 · 09:07aiMeta Îmbunătățește Recomandările de Reclame Utilizând Capacitatea de Inferență AI InactivăMeta a dezvoltat un sistem pentru a îmbunătăți recomandările de reclame prin utilizarea capacității de inferență AI inactive din infrastructura sa. Această inovație permite scalarea sarcinilor de recomandare a reclamelor pe resurse oportuniste, fără a afecta performanța de bază, demonstrând o gestionare eficientă a resurselor.
• 12.10 · 21:16aiAnthropic Semnează Contracte Masive pentru Centre de Date pe Fondul Cererii de InferențăCompania AI Anthropic a securizat, conform rapoartelor, aproximativ 530 de miliarde de dolari în contracte de leasing pentru centre de date, semnalând o expansiune semnificativă a infrastructurii sale de calcul. Această mișcare este determinată de cerințele computaționale tot mai mari ale modelelor AI la scară largă, în special pentru sarcinile de inferență.
• 10.10 · 09:18hardwareUpbeat Technology Bluemag Pi Combină Procesoare RISC-V și Inferență AI pentru Control Avansat al ZboruluiUpbeat Technology a lansat Bluemag Pi, o nouă placă de calcul embedded destinată sistemelor avansate de control al zborului. Această placă integrează procesoare RISC-V cu capabilități dedicate de inferență AI, având ca scop îmbunătățirea performanței și eficienței vehiculelor aeriene fără pilot (UAV) și a altor aplicații aerospațiale.
• 09.10 · 09:05aiCoreWeave vizează blocajele de inferență AI cu optimizare full-stackInferența AI devine un factor critic în economia boom-ului AI, mutând accentul de la capacitatea brută de GPU la servirea modelelor mai rapidă și mai ieftină. Furnizorii specializați de cloud își extind ofertele dincolo de GPU-uri pentru a include stocare, rețelistică și software, pentru a răspunde acestei cereri în evoluție.
• 06.10 · 21:07aiAntseed lansează o piață descentralizată pentru inferență AI, reducând costurile dezvoltatorilorAntseed a lansat o nouă piață peer-to-peer menită să reducă semnificativ costul accesării capabilităților de inferență AI pentru dezvoltatori. Prin conectarea directă a dezvoltatorilor cu furnizori independenți și mainstream, ocolește gateway-urile centralizate tradiționale, oferind acces la modele de ultimă generație la o fracțiune din prețul obișnuit.
• 05.10 · 21:09devPariul Baseten de 13 miliarde de dolari pe o cerere de inferență de 100x și open source ca antidot pentru AI-ul centralizatBaseten a strâns 13 miliarde de dolari, mizând pe o creștere de 100x a cererii de inferență AI și poziționând open source ca o contramăsură crucială la platformele AI centralizate. Compania își propune să răspundă nevoii crescânde de implementare și scalare eficientă a modelelor AI.
• 05.10 · 21:00aiIterate.ai lansează motorul de inferență Lifeboat pentru a crește sesiunile agenților AICompania de AI pentru întreprinderi Iterate Studio Inc. a lansat Lifeboat, un nou motor de inferență pentru modele lingvistice mari, cu calcul confidențial integrat. Acest motor permite, conform datelor, de două până la șase ori mai multe sesiuni concurente de agenți AI per GPU, abordând o provocare cheie legată de memorie pentru agenții AI.
• 05.10 · 09:10aiClaude de la Anthropic disponibil în India prin Amazon Bedrock cu inferență în țarăModelul AI Claude de la Anthropic a fost lansat în India, oferind utilizatorilor acces prin Amazon Bedrock. Această integrare permite inferența în țară, sporind confidențialitatea datelor și reducând latența pentru utilizatorii indieni.
• 04.10 · 21:07aiModelele OpenAI au optimizat inferența Astra Ultrafast pe GPU-uri NvidiaOpenAI a anunțat că propriile sale modele au fost utilizate pentru a optimiza performanța de inferență a Astra Ultrafast, un nou model AI dezvoltat de Astra. Această optimizare vizează în mod specific GPU-urile Nvidia, având ca scop îmbunătățirea eficienței și vitezei pentru calculele AI.
• 03.10 · 09:03hardwareCam Quilici: Nvidia Vera Rubin oferă un câștig de 3 ori la servire, transformând inferența open-source într-o "imprimantă de bani"GPU-ul Nvidia Vera Rubin obține, conform rapoartelor, o performanță de servire de trei ori mai mare comparativ cu generațiile anterioare, sporind semnificativ eficiența inferenței AI open-source. Acest avans este subliniat ca un factor cheie în a face modelele AI open-source mai viabile economic pentru implementare.
• 03.10 · 09:01aiDescoperită Vulnerabilitate Critică Zero-Day într-un Motor de Inferență AI MajorA fost descoperită o vulnerabilitate critică zero-day într-un motor de inferență AI utilizat pe scară largă, permițând atacatorilor să execute cod de la distanță și să compromită serverele enterprise. Defectul, găsit în subsistemul de gestionare a memoriei, subliniază nevoia urgentă de securitate sporită în infrastructura AI.
• 02.10 · 09:18hardwareMotorul de Inferență AI Magnitude Suportă Acum CPU-uri Apple Silicon, NVIDIA și AMDMagnitude, un motor de inferență pentru agenți AI, și-a anunțat compatibilitatea cu procesoarele Apple Silicon, NVIDIA și AMD. Această extindere permite motorului să optimizeze automat hardware-ul pentru accelerarea modelelor deschise, dublându-le potențial viteza.
• 29.09 · 09:08aiFurnizorul de inferență Modal Labs se apropie de o rundă de finanțare de 750 milioane USD la o evaluare de 15,75 miliarde USDStartup-ul de infrastructură AI Modal Labs se apropie, conform informațiilor, de o rundă de finanțare de 750 milioane USD, ceea ce ar tripla evaluarea sa față de acum patru luni. Această creștere semnificativă a evaluării subliniază interesul intens al investitorilor în sectorul infrastructurii AI.
• 29.09 · 09:06hardwareAcceleratorul AI Forlinx M.2 de 20-TOPS suportă cascada PCIe pentru inferența LLM localăForlinx a lansat un nou accelerator AI M.2 capabil de 20 TOPS, conceput pentru inferență LLM locală eficientă. Acesta dispune de cascada PCIe, permițând conectarea mai multor unități pentru performanțe sporite.
• 29.09 · 09:03roboticsDe 10.7x Mai Rapid: Motorul Open-Source de Inferență Edge Permite Robotilor să Ruleze Modele Mari Fără LatențăA fost dezvoltat un nou motor open-source de inferență edge-side, atingând viteze de până la 10.7 ori mai mari decât soluțiile existente. Acest progres permite rularea modelelor AI complexe direct pe corpul roboților, eliminând latența și permițând operarea în timp real.
• 28.09 · 21:04hardwareOpenAI Jalapeño - Interviu cu șeful departamentului Hardware despre designul cipului de inferențăOpenAI a publicat transcrierea unui interviu care detaliază procesul de design al cipului său de inferență Jalapeño. Discuția se concentrează pe inovațiile hardware și deciziile strategice din spatele dezvoltării cipului.
• 28.09 · 21:04hardwareASIC-ul personalizat Jalapeno de la OpenAI pentru inferență AI este pentru uz intern, dar compania lasă ușa deschisă pentru o lansare mai largăOpenAI a dezvoltat un cip ASIC personalizat numit Jalapeno, conceput special pentru sarcinile de inferență AI. Deși în prezent este destinat uzului intern, compania a indicat posibilitatea unei lansări mai largi în viitor.
• 25.09 · 21:05aiCoreWeave își extinde oferta cloud AI full-stack pe fondul creșterii cererii pentru inferențăFurnizorul de cloud nativ AI, CoreWeave, își extinde infrastructura pentru a satisface cererea crescândă de inferență AI, marcând o tranziție de la accentul inițial pe antrenarea modelelor AI. Compania a integrat și validat cu succes Nvidia Vera Rubin NVL72, subliniind angajamentul său de a oferi soluții cloud specializate pentru sarcinile de lucru AI.
• 23.09 · 09:00hardwareNVIDIA Introduce Inferența AI Confidențială pe GPU-uri BlackwellNVIDIA a activat calculul confidențial pentru inferența AI pe GPU-urile sale Blackwell, asigurând confidențialitatea datelor în timpul procesărilor sensibile. Această funcționalitate menține niveluri înalte de performanță, făcând procesarea AI securizată o realitate.
• 20.09 · 21:11aiNVIDIA Vera Rubin NVL72 Obține Performanță de Top în MLPerf Inference v6.1Noul sistem Vera Rubin NVL72 de la NVIDIA a debutat pe primul loc în benchmark-ul MLPerf Inference v6.1, demonstrând performanță de vârf pentru sarcinile de inferență AI. Această realizare subliniază importanța performanței sistemului, scalării eficiente și optimizării software în economia inferenței AI.
• 18.09 · 21:12devKubernetes poate rula inferență AI, dar poate urmări costul real?Acest articol explorează capacitatea Kubernetes de a rula sarcini de inferență AI, punând sub semnul întrebării abilitatea sa de a urmări cu precizie costurile asociate. Subliniază complexitatea atribuirii costurilor în medii cloud-native pentru sarcinile AI.
• 11.09 · 09:02hardwareRuntime-ul BioNeMo de la NVIDIA Accelerează Modelarea ProteinelorNVIDIA a lansat BioNeMo Inference Runtime, un nou software conceput pentru a accelera semnificativ predicția structurii biomoleculare. Acest avans promite să îmbunătățească eficiența și viteza descoperirii de medicamente și a cercetării biologice prin optimizarea modelării proteinelor pe GPU-uri.
• 10.09 · 09:07aiLightbits lansează Inferra pentru a îmbunătăți performanța inferenței AILightbits Labs a introdus Inferra, un nou motor software destinat optimizării performanței și costurilor inferenței AI. Prin relocarea datelor din cache de tip key-value din memoria limitată a GPU-ului către stocare externă, Inferra încearcă să depășească blocajele hardware actuale.
• 08.09 · 21:28devCNCF Urează Bun Venit Noilor Membri Silver pe Măsură ce Companiile Extind AI de la Antrenament la InferențăCloud Native Computing Foundation (CNCF) a anunțat adăugarea mai multor noi membri Silver, reflectând o tendință crescândă a companiilor de a-și extinde inițiativele AI. Această expansiune subliniază importanța tot mai mare a tehnologiilor cloud-native în sprijinirea atât a sarcinilor de antrenament AI, cât și a celor de inferență.
• 07.09 · 09:14aiValorifică-ți Puterea de Calcul Liberă Închiriind-o pentru Inferență AIPlatforme noi permit persoanelor fizice și afacerilor mici să-și închirieze puterea de calcul liberă, de la servere de acasă sau PC-uri de gaming, pentru sarcini de inferență AI. Aceasta oferă o modalitate de a genera venituri pasive, răspunzând cererii crescânde de resurse de calcul necesare companiilor AI, în special pentru rularea modelelor open-source mai mici.
• 05.09 · 09:02aiGimlet Labs obține 300 de milioane de dolari pentru platforma sa de inferență dezagregatăStartup-ul AI Gimlet Labs a obținut 300 de milioane de dolari într-o rundă de finanțare Seria B, ajungând la o evaluare de 3 miliarde de dolari. Finanțarea, condusă de Andreessen Horowitz, vizează avansarea platformei lor de inferență dezagregată, concepută pentru a accelera sarcinile de lucru AI pentru dezvoltatori.
• 04.09 · 09:02devTimpul de pornire la rece pentru inferența GPU redus de la 8 minute la sub un minutUn efort recent de optimizare a redus cu succes timpul de pornire la rece pentru inferența GPU de la 8 minute la sub un minut. Această îmbunătățire semnificativă a fost realizată prin instrumentarea și analiza întregului proces, de la crearea pod-ului până la primul răspuns de inferență pe un nod GPU care rulează un model de clasă 70B.
• 02.09 · 09:11aiNVIDIA Detaliază Dimensionarea GPU-urilor pentru Inferența AI și Optimizarea TCONVIDIA a publicat un ghid despre cum să dimensionați corect GPU-urile pentru sarcinile de inferență AI, concentrându-se pe echilibrarea performanței cu costul total de proprietate (TCO). Aceste informații sunt cruciale pentru companiile care doresc să-și scaleze eficient implementările de generare AI.