Caută în știri_

1 rezultat pentru „enterprise hardware”

• 09:05hardwareRTX 4090 Atinge 100 Trilioane Token-uri/Secundă pentru AI, Redefinind Granița dintre Hardware Consumer și EnterpriseUn singur GPU NVIDIA RTX 4090 poate procesa acum un model AI cu 125 miliarde de parametri la aproximativ 100 trilioane token-uri pe secundă, o performanță ce anterior necesita hardware enterprise de înaltă performanță precum clustere H100. Acest avans este realizat printr-o combinație de optimizări software, inclusiv kernel-uri GEMM low-rank FP8, cuantificare pe 4 biți, decodare speculativă și compresie agresivă a KV-cache-ului, permițând plăcii de consum să depășească 100 T/s în limita sa de 24 GB VRAM și 350 W.