Cercetătorii Intel au cuantificat un LLM la 1.485 biți fără modificări ale ponderilor

Cercetătorii Intel au realizat o descoperire notabilă în compresia modelelor, cuantificând cu succes un model lingvistic mare (LLM) de 1.58 biți la un nivel și mai eficient de 1.485 biți. Această realizare remarcabilă a fost obținută fără a face modificări la ponderile originale ale modelului, o dovadă a tehnicilor inovatoare de cuantificare. Realizarea este semnificativă deoarece demonstrează o cale către reducerea drastică a resurselor de memorie și computaționale necesare pentru rularea LLM-urilor, făcându-le mai accesibile și implementabile pe o gamă mai largă de hardware.

Detaliile tehnice implică împingerea limitelor cuantificării ternare, o metodă care reprezintă ponderile folosind trei valori (de obicei -1, 0 și 1). Prin obținerea unei reprezentări de 1.485 biți, abordarea Intel implică probabil o schemă optimizată pentru maparea acestor valori ternare sau o metodă sofisticată pentru gestionarea informațiilor reziduale. Acest lucru contrastează cu metodele standard de cuantificare care ar putea implica reantrenarea sau ajustări semnificative ale arhitecturii modelului. Contextul este efortul continuu la nivel de industrie de a face LLM-urile mai eficiente pentru implementare, în special pe dispozitive edge sau sisteme cu resurse limitate.

Această dezvoltare are implicații semnificative pentru eficiența și accesibilitatea modelelor AI. Prin reducerea lățimii de bandă necesare pentru LLM-uri fără a compromite performanța, cercetarea Intel ar putea deschide calea pentru aplicații AI mai puternice pe hardware mai puțin performant. Următorii pași vor implica probabil validarea suplimentară a acestei tehnici pe diferite arhitecturi LLM și explorarea impactului său asupra vitezei de inferență și a preciziei în scenarii din lumea reală.