Caută în știri_

2 rezultate pentru „kv-cache”

• 09:05hardwareRTX 4090 Atinge 100 Trilioane Token-uri/Secundă pentru AI, Redefinind Granița dintre Hardware Consumer și EnterpriseUn singur GPU NVIDIA RTX 4090 poate procesa acum un model AI cu 125 miliarde de parametri la aproximativ 100 trilioane token-uri pe secundă, o performanță ce anterior necesita hardware enterprise de înaltă performanță precum clustere H100. Acest avans este realizat printr-o combinație de optimizări software, inclusiv kernel-uri GEMM low-rank FP8, cuantificare pe 4 biți, decodare speculativă și compresie agresivă a KV-cache-ului, permițând plăcii de consum să depășească 100 T/s în limita sa de 24 GB VRAM și 350 W.
• 20.09 · 20:07devDepanșarea unei erori de offloading KV-Cache în vLLMAcest articol detaliază o eroare subtilă descoperită în vLLM, legată de offloading-ul KV-cache pentru modele cu grupuri KV-cache mixte. Problema a apărut dintr-o presupunere incorectă privind calculele blocurilor, ducând la fragmentare defectuoasă în timpul offloading-ului și afectând arhitecturi specifice de modele.