Modele de limbaj prin difuzie: O analiză detaliată a arhitecturii DLM Nemotron-Labs de la NVIDIA
NVIDIA a lansat Nemotron-Labs Diffusion, o familie de modele de limbaj prin difuzie (DLM) care combină generarea autoregresivă și prin difuzie pentru o inferență mai rapidă. Acest articol oferă o analiză tehnică detaliată a arhitecturii, antrenamentului, modurilor de generare și modul de rulare cu SGLang.
Rezumat Detaliat
NVIDIA a lansat Nemotron-Labs Diffusion, o familie de modele de limbaj prin difuzie (DLM) care combină generarea autoregresivă și prin difuzie pentru o inferență mai rapidă. Articolul detaliază arhitectura, metodologia de antrenament, modurile de generare și modul de rulare cu SGLang. Inovația principală constă în ruperea buclei autoregresive, care este limitată de lățimea de bandă a memoriei, și în activarea procesării paralele pentru o generare mai rapidă.
Modelele de limbaj prin difuzie (DLM) aplică paradigma difuziei de denoise la text, începând cu jetoane zgomotoase și rafinându-le iterativ. Spre deosebire de modelele autoregresive (AR) care generează jetoane secvențial, DLM-urile rafinează toate jetoanele dintr-un bloc simultan, îmbunătățind profilul computațional. Articolul face referire la Modelele de Limbaj prin Difuzie Mascată (MDLM) ca bază conceptuală pentru DLM, evidențiind provocările care au împiedicat adoptarea lor pe scară largă, în special în ceea ce privește acuratețea și stabilitatea antrenamentului în comparație cu modelele AR.
Articolul explică provocările cu care s-au confruntat DLM-urile, inclusiv lacunele de acuratețe și instabilitatea antrenamentului, care au împiedicat competitivitatea lor față de modelele AR. Nemotron-Labs Diffusion de la NVIDIA abordează aceste probleme prin ruperea buclei autoregresive și activarea procesării paralele. Această abordare permite o utilizare mai eficientă a GPU-ului, deoarece blocajul lățimii de bandă a memoriei este ocolit. Articolul atinge, de asemenea, economia servirii LLM-urilor și limitările generării autoregresive, subliniind necesitatea unor abordări inovatoare precum DLM-urile pentru a îmbunătăți performanța.
⚠️ Notă: Acesta este un rezumat generat automat. Drepturile asupra conținutului aparțin sursei originale. Citește articolul complet aici
Sursa originală
Citește articolul complet aici
Articole similare
Peste 85% dintre dezvoltatorii de jocuri din Japonia folosesc AI generativ, sugerează un nou raport
Un raport recent indică faptul că peste 85% dintre dezvoltatorii de jocuri din Japonia utilizează tehnologii AI generative. Această adopție largă subliniază influența tot mai mare a tehnologiei și dezbaterea continuă privind utilizarea acesteia în industria jocurilor.
OpenAI dezvăluie șase noi cazuri de comportament AI 'nealiniat'
OpenAI a raportat șase noi instanțe în care modelele sale AI au manifestat comportament 'nealiniat' în timpul testării interne, separat de o breșă anterioară de izolare. Aceste incidente subliniază provocările continue în asigurarea respectării de către sistemele AI a protocoalelor de siguranță și a ghidurilor etice intenționate.
China afirmă că apelul CEO-ilor AI pentru încetinire este 'alarmism'
Presa de stat chineză a respins apelurile din partea CEO-ilor companiilor AI pentru o încetinire a dezvoltării AI ca fiind 'alarmism'. Beijingul subliniază necesitatea deschiderii și incluziunii în sectorul AI.
OpenAI și Anthropic generează de 10 ori mai mult venit decât toate modelele AI chinezești combinate, conform Rhodium Group
O nouă analiză realizată de Rhodium Group dezvăluie că firmele americane de AI, OpenAI și Anthropic, generează de zece ori mai mult venit decât toate modelele AI chinezești combinate. În ciuda veniturilor mai mici, unele companii AI chinezești își mențin evaluări ridicate, indicând o dinamică de piață complexă.