Un pool de experți partajați reduce parametrii, menținând performanța

Articolul discută două tehnici inovatoare pentru îmbunătățirea eficienței și siguranței modelelor Mixture-of-Experts (MoE). UniPool introduce un pool de experți partajați la nivel global, reducând numărul de parametri necesari fără a sacrifica calitatea predictivă. MASCing se concentrează pe îmbunătățirea siguranței inferenței MoE prin utilizarea măștilor de direcționare pentru a controla selecția experților.

UniPool înlocuiește seturile de experți tradiționale per-layer cu un singur pool partajat, permițând routerelor să tragă din acesta. Această abordare rupe relația liniară dintre adâncimea modelului și numărul de parametri experți învățabili. Stabilitatea antrenamentului este menținută printr-o pierdere auxiliară la nivel de pool care echilibrează utilizarea. Rezultatele arată reduceri consistente ale pierderilor de validare pe diferite dimensiuni de model, cu variantele UniPool cu pool redus care se potrivesc sau depășesc MoE per-layer, utilizând mai puțini parametri experți.

MASCing abordează siguranța inferenței MoE prin utilizarea unui model surogat bazat pe LSTM pentru a captura dependențele de rutare cross-layer. Acesta identifică circuitele experte relevante pentru comportament și aplică măști de direcționare porților de rutare în timpul inferenței. Această metodă îmbunătățește semnificativ ratele de succes ale apărării împotriva atacurilor adversariale. Constatările sugerează o cale practică către modele la scară largă mai ieftine și mai controlabile, oferind inginerilor pași concreți pentru a optimiza conductele de antrenament existente și a îmbunătăți siguranța modelului.