Flux Attention înjumătățește costul inferenței pe contexte lungi

Flux Attention prezintă o abordare inovatoare pentru optimizarea inferenței în modelele lingvistice mari, vizând în mod specific provocările computaționale ale contextelor lungi. Inovația de bază constă într-un router la nivel de strat care decide dinamic dacă fiecare strat transformer ar trebui să utilizeze atenție densă sau rară. Această strategie de rutare adaptivă urmărește să reducă costul quadratic al atenției de sine standard, care devine prohibitiv pe măsură ce ferestrele de context se extind.

Din punct de vedere tehnic, metoda integrează un Layer Router ușor într-un model pre-antrenat înghețat. În timpul inferenței, acest router direcționează fiecare strat către atenție completă (FA) sau atenție rară (SA) pe baza intrării. Acest design evită limitările abordărilor hibride anterioare care utilizau rapoarte FA/SA fixe. Autorii raportează îmbunătățiri semnificative ale vitezei, de până la 2,8x în timpul prefill și 2,0x în timpul decodificării. Antrenarea routerului este, de asemenea, eficientă, necesitând doar 12 ore pe un nod A800 cu 8 GPU. Costul suplimentar al routerului este minim, cu o medie de doar 0,20 ms per strat.

Implicațiile Flux Attention sunt semnificative pentru echipele care servesc LLM-uri de tip chat cu ferestre extinse. Capacitatea de a antrena rapid un router la nivel de strat și de a-l integra în punctele de control existente oferă o soluție practică pentru îmbunătățirea debitului. Prin confirmarea câștigurilor de viteză pe lungimile de context țintă, echipele pot transforma raționamentul pe context lung dintr-o capacitate de nișă într-o caracteristică gata de producție. Concentrarea pe scenariile cu context lung și sarcinile grele de matematică sugerează potențialul pentru o aplicabilitate mai largă, deși este necesară o evaluare suplimentară pe repere cu solicitări scurte sau multilingve.