Caută în știri_

3 rezultate pentru „vllm”

• 08:12aiMoonshot AI implementează Kimi K3.1 Pro pe GPU-uri AMD Instinct MI355XMoonshot AI a implementat modelul Kimi K3.1 Pro, cu 2,8 trilioane de parametri, pe GPU-uri AMD Instinct MI355X. Implementarea oferă suport pentru ATOM și vLLM în sarcini AI multimodale.
  
• 24.10 · 08:18hardwareAMD adaugă suport din prima zi pentru MiniMax-M3.1 pe GPU-urile Instinct MI350AMD afirmă că MiniMax-M3.1 rulează acum pe GPU-urile Instinct MI350, cu suport pentru vLLM și ATOM. Actualizarea include conversia MXFP4 și reduceri ale latenței pe anumite căi de decodare.
  
• 20.09 · 20:07devDepanșarea unei erori de offloading KV-Cache în vLLMAcest articol detaliază o eroare subtilă descoperită în vLLM, legată de offloading-ul KV-cache pentru modele cu grupuri KV-cache mixte. Problema a apărut dintr-o presupunere incorectă privind calculele blocurilor, ducând la fragmentare defectuoasă în timpul offloading-ului și afectând arhitecturi specifice de modele.