TTT-E2E: Modelul AI care învață în timp ce citește (Adio KV Cache?)

Modelul TTT-E2E, o colaborare între Stanford, NVIDIA și UC Berkeley, abordează costurile computaționale ale arhitecturilor Transformer tradiționale atunci când gestionează contexte lungi. Spre deosebire de Transformatoarele standard care se bazează pe un KV Cache, care crește liniar cu lungimea secvenței, TTT-E2E își actualizează greutățile în timpul citirii, tratând intrarea ca un set de antrenament. Această alegere de proiectare are ca rezultat un cost constant de inferență și menține calitatea mecanismelor tradiționale de atenție. Inovația de bază a modelului constă în comprimarea contextului în parametrii săi interni, înlocuind KV cache-ul voluminos cu o stare ascunsă actualizată printr-un obiectiv de învățare auto-supervizată în timpul parcurgerii înainte. Această abordare permite procesarea eficientă a documentelor masive sau a bazelor de cod în timp real. Trecerea de la procesarea bazată pe memorie la învățarea din mers deschide noi posibilități pentru edge computing și analiza de conținut pe termen lung. TTT-E2E face legătura între eficiența RNN/SSM și puterea Transformatoarelor, transformând starea ascunsă într-o rețea neuronală dinamică. Deși există limitări în comparație cu modelele de atenție completă în sarcini specifice de raționament, schimbarea arhitecturală către modele care se adaptează datelor în timp real este semnificativă. Lucrarea oficială și codul sursă sunt disponibile pentru o explorare suplimentară.