dev · · 21:02 · 2 min de citit
O săptămână cu TensorFold pe MacBook: motorul a contat, cuantificarea nu
Un nou motor numit TensorFold, dezvoltat de Ash (MIT), îmbunătățește semnificativ vitezele de decodare LLM pe MacBook-uri, atingând până la 220 de tokeni/secundă pe un model de 27B, o îmbunătățire substanțială față de soluțiile existente precum mlx_lm. Autorul a integrat acest motor într-un cluster Kubernetes prin LLMKube, permițând nodurilor de inferență bazate pe Mac să servească modele alături de hardware NVIDIA și AMD, cu câștigurile de performanță atribuite procesului eficient de verificare a tokenilor al motorului.
Acest articol detaliază experiența autorului în testarea TensorFold, un nou motor de inferență LLM, pe un MacBook. Inițial, un model dens de 27B decoda la aproximativ 26 de tokeni pe secundă, ceea ce este adecvat pentru chat, dar prea lent pentru sarcini agentice care necesită un output extins. Introducerea TensorFold, împreună cu modelul drafter DFlash2, a crescut dramatic performanța la aproximativ 220 de tokeni pe secundă pe același hardware, un câștig pe care autorul l-a verificat ca fiind real și reproductibil. Acest avans este crucial pentru a face LLM-urile puternice mai accesibile și performante pe hardware de consum.
Tehnic, TensorFold, un proiect MIT al lui Ash, a demonstrat îmbunătățiri remarcabile de viteză prin verificarea eficientă a tokenilor candidați într-o structură arborescentă, verificarea în lot costând aproape la fel ca un pas pe un singur rând. Autorul a testat acest lucru în comparație cu alte configurații, inclusiv utilizarea aceluiași drafter DFlash2 cu popularul motor llama.cpp, confirmând că motorul TensorFold, nu doar drafterul, a fost responsabil pentru creșterea vitezei. Autorul a integrat cu succes TensorFold în sistemul său LLMKube, permițând unui MacBook să funcționeze ca nod de inferență într-un cluster Kubernetes mai mare, alături de hardware NVIDIA și AMD, tratând motorul exclusiv pentru Mac ca pe un serviciu standard.
Procesul de integrare a relevat unele probleme, inclusiv un conflict cu un upgrade Homebrew care a eliminat flag-ul `--mlock`, cauzând eșecul agentului de inferență și blocarea altor modele. Au fost implementate remedieri pentru a face agentul mai robust prin verificarea suportului pentru flag-uri și monitorizarea directă a proceselor copil. Implicațiile sunt semnificative pentru inferența distribuită, permițând o utilizare mai flexibilă și mai rentabilă a hardware-ului prin includerea dispozitivelor de consum în clustere de calcul mai mari, cu lucrări viitoare concentrate pe optimizarea suportului multi-stream.
$ sursa --originală
dev.to
Rezumat realizat de Sudofeed pe baza articolului original. Drepturile asupra conținutului aparțin sursei originale.