Caută în știri_

2 rezultate pentru „h100 gpu”

• 08:11aiAnthropic raportează progrese în verificarea formală a inferenței pentru modelele lingvistice mariAnthropic afirmă că sistemul FlashProve poate genera dovezi pentru Llama 4 Maverick cu aproximativ 110 de tokeni pe secundă pe un singur GPU H100. Relatarea nu oferă detalii suplimentare despre metoda de demonstrare sau despre limitările acesteia.
  
• 05.10 · 09:05hardwareRTX 4090 Atinge 100 Trilioane Token-uri/Secundă pentru AI, Redefinind Granița dintre Hardware Consumer și EnterpriseUn singur GPU NVIDIA RTX 4090 poate procesa acum un model AI cu 125 miliarde de parametri la aproximativ 100 trilioane token-uri pe secundă, o performanță ce anterior necesita hardware enterprise de înaltă performanță precum clustere H100. Acest avans este realizat printr-o combinație de optimizări software, inclusiv kernel-uri GEMM low-rank FP8, cuantificare pe 4 biți, decodare speculativă și compresie agresivă a KV-cache-ului, permițând plăcii de consum să depășească 100 T/s în limita sa de 24 GB VRAM și 350 W.