Lila Sciences și Anyscale antrenează GLM-5.3-Flash pe secvențe de 1 milion de tokenuri

Lila Sciences și Anyscale au anunțat că au extins antrenarea modelului GLM-5.3-Flash pentru a procesa secvențe de 1 milion de tokenuri. Rezultatul privește antrenarea AI cu context lung, unde secvențele foarte ample pot permite modelelor să lucreze simultan cu mai multă informație. Articolul prezintă realizarea drept un progres pentru capabilitățile de context lung, dar nu include rezultate de evaluare sau exemple privind performanța modelului. Prin urmare, este vorba despre o realizare raportată la scara antrenării, nu despre dovezi ale unor îmbunătățiri concrete în utilizare.

Potrivit articolului, antrenarea a folosit SkyRL pe 64 de GPU-uri NVIDIA B200. Nu sunt precizate durata antrenării, debitul, consumul de memorie, configurația modelului sau metodele de distribuire a calculelor între GPU-uri. De asemenea, textul nu descrie setul de date, obiectivul de antrenare ori modul în care a fost verificată lungimea secvențelor de 1 milion de tokenuri. Aceste informații lipsă limitează concluziile despre eficiența și reproductibilitatea configurației descrise.

Inițiativa evidențiază cerințele de infrastructură pentru antrenarea modelelor cu contexte foarte lungi și raportează un experiment la scara unui milion de tokenuri per secvență. Astfel de lucrări pot influența dezvoltarea ulterioară a sistemelor AI cu context lung, însă articolul nu menționează planuri de lansare, benchmarkuri sau etape viitoare. Pentru evaluarea impactului mai larg ar fi necesare detalii tehnice suplimentare și verificări independente.