Lightbits lansează Inferra pentru a îmbunătăți performanța inferenței AI

Lightbits Labs lansează Inferra, un motor software conceput pentru a îmbunătăți semnificativ performanța și economia inferenței în inteligența artificială. Inovația principală constă în capacitatea sa de a muta datele din cache de tip key-value din memoria cu lățime de bandă înaltă (HBM) limitată, atașată direct GPU-urilor. Această relocare strategică abordează un blocaj critic în sarcinile de lucru AI, în special pentru modelele lingvistice mari (LLM) și alte aplicații AI intensive din punct de vedere al memoriei, permițând astfel implementări AI mai eficiente și mai rentabile.

Din punct de vedere tehnic, Inferra valorifică expertiza Lightbits în protocoalele de stocare, în special NVMe over TCP, pentru a oferi acces de mare viteză la stocarea externă pentru cache-ul KV. Acest lucru permite modelelor AI să acceseze cantități mai mari de date fără a fi limitate de memoria HBM relativ mică și scumpă de pe GPU-uri. Motorul este proiectat pentru a minimiza latența și a maximiza debitul, asigurând că degradarea performanței cauzată de mutarea datelor în afara cipului este neglijabilă. Această abordare este crucială pentru scalarea operațiunilor de inferență AI dincolo de capacitățile memoriei individuale ale GPU-urilor.

Implicațiile Inferra sunt substanțiale pentru industria AI, putând reduce costul implementării și rulării modelelor AI la scară. Prin permiterea utilizării soluțiilor de stocare mai accesibile, democratizează accesul la inferența AI de înaltă performanță. Se așteaptă ca această dezvoltare să accelereze adoptarea aplicațiilor AI avansate în diverse sectoare și stabilește o nouă direcție pentru optimizarea co-proiectării hardware-software AI.