Nu-ți mai face modelul mare să răspundă la întrebări cu variante multiple

Articolul discută o abordare nouă în construirea arhitecturilor agenților AI prin delegarea sarcinilor simple și repetitive de luare a deciziilor de la modelele lingvistice mari (LLM) către modele mai mici și specializate. În loc să se utilizeze un model mare pentru fiecare interogare, cum ar fi determinarea injecției de prompt, a urgenței sau a instrumentului corect de utilizat, este angajat un model ușor numit 'Jeff'. Jeff funcționează ca un model 'System 1', efectuând clasificări rapide și reflexive prin ieșirea de probabilități pentru opțiuni predefinite, fără a genera text, evitând astfel complexitățile de parsare. Această strategie îmbunătățește semnificativ eficiența și reduce suprasolicitarea computațională.

Din punct de vedere tehnic, Jeff este un model cu 0.8B parametri care poate fi augmentat cu mai mulți adaptoare LoRA mici (aproximativ 41MB fiecare), fiecare antrenat pentru o sarcină specifică, cum ar fi detectarea injecției de prompt, trierea tichetelor sau selecția instrumentelor. Acești adaptoare sunt antrenați rapid, adesea în mai puțin de patru ore pe un singur GPU. Eficacitatea sistemului este demonstrată prin metrici de performanță care arată că, atunci când Jeff gestionează deciziile inițiale, acuratețea generală se îmbunătățește, iar timpul de decizie scade dramatic în comparație cu dependența exclusivă de un model mare de 27B parametri. Crucial, pragurile de încredere pentru escaladare sunt calibrate riguros, oferind un semnal fiabil pentru momentul în care trebuie implicat modelul mai puternic.

Implicațiile acestei arhitecturi sunt substanțiale pentru dezvoltarea agenților AI. Prin utilizarea modelelor mici pentru clasificare și a modelelor mari ca soluții de rezervă, dezvoltatorii pot crea agenți mai rapizi și mai rentabili. Ieșirea de probabilitate calibrată de la Jeff oferă o măsură onestă a incertitudinii, permițând agenților să știe exact când au nevoie să escaladeze către un model mai capabil. Această trecere de la o abordare implicită cu model mare la un sistem stratificat promite să optimizeze buclele agenților, să reducă cheltuielile operaționale și să introducă un semnal critic de tip 'nu sunt sigur' care lipsește adesea în proiectările actuale ale agenților.