Cum a Construit un Dezvoltator un Set de Date Multilingv și de Cod de 150 GB pentru AI din Asia Centrală, în Ciuda Erorilor Out-of-Memory

Un dezvoltator a abordat lipsa seturilor de date de înaltă calitate pentru limbile din Asia Centrală și codul de programare prin crearea și lansarea unui set de date open-source substanțial de 150 GB. Această inițiativă este crucială, deoarece eforturile majore de dezvoltare AI se concentrează adesea pe limba engleză, lăsând în urmă limbile sub-resursate. Proiectul își propune să stimuleze dezvoltarea AI pentru regiuni precum Asia Centrală, oferind o resursă fundamentală pentru antrenarea unor modele mai incluzive și capabile.

Setul de date, acum disponibil pe Hugging Face, conține aproximativ 150 GB de date necomprimate, incluzând porțiuni semnificative de rusă (60 GB), kârgâză (23 GB), kazahă (22 GB), uzbecă (7 GB), tadjikă (7 GB), engleză (1.5 GB) și aproximativ 20 GB de cod sursă în Python, C++, Rust și Go. Dezvoltatorul a detaliat procesul anevoios de compresie de 10 ore, utilizând .7z cu setări maxime, care a fost afectat de erori out-of-memory, necesitând ajustări de parametri și reporniri ale sistemului pentru a obține o dimensiune comprimată de aproximativ 27.7 GB pentru o distribuție mai ușoară.

Acest set de date are implicații semnificative pentru comunitatea AI, în special pentru fine-tuning-ul LLM-urilor de cod precum StarCoder sau CodeLlama, pentru a înțelege documentația tehnică și comentariile în limbile din Asia Centrală, și pentru antrenarea modelelor de traducere tehnică. Dimensiunea sa substanțială susține, de asemenea, pre-antrenarea continuă pentru adaptare de domeniu sau construirea de LLM-uri ușoare de la zero, stimulând progrese în NLP și AI pentru comunitățile lingvistice sub-reprezentate.