Caută în știri_

1 rezultat pentru „quantization”

• 21:02devO săptămână cu TensorFold pe MacBook: motorul a contat, cuantificarea nuUn nou motor numit TensorFold, dezvoltat de Ash (MIT), îmbunătățește semnificativ vitezele de decodare LLM pe MacBook-uri, atingând până la 220 de tokeni/secundă pe un model de 27B, o îmbunătățire substanțială față de soluțiile existente precum mlx_lm. Autorul a integrat acest motor într-un cluster Kubernetes prin LLMKube, permițând nodurilor de inferență bazate pe Mac să servească modele alături de hardware NVIDIA și AMD, cu câștigurile de performanță atribuite procesului eficient de verificare a tokenilor al motorului.