Caută în știri
2 rezultate pentru „mlx”
- 16:34aiMeta și Apple colaborează pentru rularea modelelor AI Muse pe MacMeta afirmă că noul său model open-weight Muse Spark poate rula pe două sisteme Apple Mac Studio cu M5 Ultra, folosind frameworkul MLX. Lansarea este susținută public de ambele companii, care de obicei concurează între ele.
- 28.09 · 21:02devO săptămână cu TensorFold pe MacBook: motorul a contat, cuantificarea nuUn nou motor numit TensorFold, dezvoltat de Ash (MIT), îmbunătățește semnificativ vitezele de decodare LLM pe MacBook-uri, atingând până la 220 de tokeni/secundă pe un model de 27B, o îmbunătățire substanțială față de soluțiile existente precum mlx_lm. Autorul a integrat acest motor într-un cluster Kubernetes prin LLMKube, permițând nodurilor de inferență bazate pe Mac să servească modele alături de hardware NVIDIA și AMD, cu câștigurile de performanță atribuite procesului eficient de verificare a tokenilor al motorului.
