TileRT Atinge 469 tok/s pe GPU-uri AMD Instinct MI355X

TileRT a stabilit un nou reper în industrie pentru viteza de inferență a modelelor AI, atingând impresionantul scor de 469 tokeni pe secundă utilizând modelul GLM-5.3 pe GPU-uri AMD Instinct MI355X. Acest obiectiv semnificativ de performanță a fost înregistrat pe platforma de benchmark AgentX, demonstrând un salt substanțial în eficiența procesării pentru modelele lingvistice mari.

Specificațiile tehnice subliniază utilizarea hardware-ului AMD Instinct MI355X, conceput pentru calcul de înaltă performanță și sarcini de lucru AI. Realizarea de 469 tok/s reprezintă o îmbunătățire de 100 tok/s față de ofertele actuale NVIDIA, subliniind progresele competitive în tehnologia GPU pentru inferența AI.

Această dezvoltare este crucială pentru peisajul hardware AI, semnalând o creștere a concurenței și inovației din partea AMD pe piața GPU-urilor de înaltă performanță. Implicațiile sugerează posibile schimbări în alegerile hardware pentru dezvoltatorii și cercetătorii AI care caută viteze și eficiență optime de inferență.