KB-ul de abilități ierarhice îmbunătățește performanța modelelor mai slabe

SkillX abordează limitările modelelor lingvistice mai slabe prin crearea unei baze de cunoștințe de abilități ierarhice (SkillKB). Această abordare se îndepărtează de metoda tradițională a episoadelor individuale de antrenament, care poate fi ineficientă. SkillX distilează urmele brute de execuție într-o bază de cunoștințe pe trei niveluri: planuri strategice, abilități funcționale și abilități atomice. Această abordare structurată permite modelelor mai slabe să recupereze eficient experiența corectă atunci când se confruntă cu o nouă solicitare, ceea ce duce la o performanță îmbunătățită.

Detaliile tehnice implică structura SkillKB și rafinarea sa iterativă. SkillKB este construit prin extragerea comportamentelor reutilizabile, ierarhice din urmele de execuție. Sistemul rafinează apoi fiecare intrare pe baza feedback-ului de execuție și extinde acoperirea prin generare exploratorie. Când este integrat cu un model de bază precum Qwen3-32B, SkillX crește semnificativ performanța, îmbunătățind cu aproximativ 10 puncte pe mai multe repere. Studiul subliniază, de asemenea, că biblioteca reduce pașii redundanți și lungimea contextului, eficientizând inferența.

Implicațiile SkillX sunt semnificative pentru industria AI, în special pentru aplicațiile hardware de margine. Permițând modelelor mai mici să moștenească expertiză, SkillX poate reduce potențial bugetele de jetoane, permițând modelelor să ruleze pe hardware de margine, menținând în același timp rate de succes ridicate. Studiul sugerează că construirea unei biblioteci de abilități pilot din jurnalele existente și măsurarea acurateței sarcinilor și a utilizării contextului ar putea fi un pas valoros înainte de a se angaja într-o actualizare completă a modelului. Această abordare oferă o modalitate de a îmbunătăți performanța modelelor mai mici, făcându-le mai competitive.