Când AI învață să vadă și să gândească în același timp

Articolul discută despre modelul Kimi K2.5 de la Moonshot AI, care își propune să îmbunătățească capacitatea AI de a gestiona sarcini complexe. Modelul integrează limbajul și viziunea ca o singură abilitate, spre deosebire de multe sisteme AI actuale, unde viziunea este adăugată ulterior. Mai mult, introduce Agent Swarm, un sistem care descompune sarcinile complexe în sub-probleme gestionate de lucrători specializați în paralel. Această abordare contrastează cu procesarea secvențială, cu un singur fișier, comună în majoritatea modelelor AI de astăzi, care încetinește adesea performanța.

Designul Kimi K2.5 abordează provocările integrării viziunii și limbajului în modelele AI. Modelele tradiționale antrenează adesea mai întâi limbajul și apoi adaugă viziune, ceea ce duce la conflicte interne între cele două abilități. K2.5, totuși, integrează textul și viziunea încă din fazele inițiale de antrenament, amestecând jetoane de text și viziune. Această integrare timpurie permite modelului să dezvolte o înțelegere mai fluidă, intermodală, similară modului în care persoanele bilingve folosesc ambele limbi. Această abordare ajută AI să înțeleagă atât limbajul, cât și imaginile ca o singură abilitate unificată.

O constatare cheie este eficacitatea "zero-vision SFT" în timpul fazei de reglare fină supravegheată. Echipa K2.5 a constatat că arătând modelului niciun exemplu vizual în această fază, de fapt, a îmbunătățit capacitățile sale de raționament vizual. Acest lucru sugerează că faza de pre-antrenament, cu legăturile sale profunde între limbaj și viziune, a permis deja modelului să gândească vizual. Demonstrațiile concepute de oameni de raționament vizual, în acest caz, au constrâns modelul. Această abordare demonstrează o nouă modalitate de a antrena modelele AI.