Moonshot AI implementează Kimi K3.1 Pro pe GPU-uri AMD Instinct MI355X

Moonshot AI a implementat modelul Kimi K3.1 Pro, care are 2,8 trilioane de parametri, pe GPU-uri AMD Instinct MI355X. Anunțul asociază un model AI multimodal de mari dimensiuni cu hardware-ul de accelerare AMD și precizează că implementarea include suport software pentru rularea sa. Informația este relevantă deoarece oferă un exemplu de infrastructură utilizată pentru modele AI mari în afara ecosistemului unui singur furnizor de hardware.

Implementarea este descrisă ca având suport pentru ATOM și vLLM, componente folosite în acest context pentru sarcini AI multimodale. Articolul nu precizează numărul de GPU-uri, cerințele de memorie ale modelului, debitul, latența sau versiunile software utilizate. De asemenea, nu oferă detalii despre arhitectura implementării, configurația de antrenare ori modalitățile de intrare și ieșire acceptate de Kimi K3.1 Pro. Singurele specificații menționate sunt dimensiunea de 2,8 trilioane de parametri și acceleratorul AMD Instinct MI355X.

Anunțul arată că infrastructura GPU AMD este folosită pentru implementarea unui model de dimensiuni considerabile, iar ATOM și vLLM fac parte din suportul software menționat. Informația poate fi utilă echipelor care evaluează opțiuni de hardware și sisteme de servire pentru AI, însă articolul nu include rezultate de performanță sau comparații cu alte platforme. Nu sunt precizate detalii suplimentare despre capacitate, eficiență sau disponibilitatea practică.