330 Modele Lingvistice Testate pe Coreeană; Jumătate Au Eșuat în Utilizarea Alfabetului Corect

O evaluare recentă a 330 de modele lingvistice mari (LLM) privind competența lor în limba coreeană a descoperit provocări semnificative, peste jumătate eșuând în utilizarea consecventă a alfabetului coreean corect (Hangul). Studiul a utilizat o funcție Python simplă, de patru rânduri, pentru a filtra automat răspunsurile care au deviat de la parametrii lingvistici așteptați, cum ar fi conținerea prea multor caractere chinezești (Hanja) sau japoneze (Kana), sau având mai puțin de 25% Hangul. Acest control automatizat a descalificat 33,2% din totalul răspunsurilor, demonstrând o defecțiune critică în modul în care aceste modele avansate gestionează limbile non-engleze.

Detaliile tehnice dezvăluie că funcția `check_contamination` a evaluat trei condiții principale: un raport Hangul sub 0,25, mai mult de trei caractere Hanja sau orice prezență a caracterelor Kana. Aceste metrici numărabile au fost prioritizate față de evaluarea subiectivă pentru a asigura obiectivitatea și eficiența, împiedicând judecătorii LLM să interpreteze greșit răspunsurile care erau fundamental în scriptul greșit. Această abordare nu numai că a redus costurile prin scăderea numărului de răspunsuri care necesită revizuire umană, dar a abordat și modurile distincte de eșec ale amestecării scripturilor versus inexactitățile tonale, asigurând un proces de evaluare mai fiabil.

Implicațiile acestor descoperiri sunt substanțiale pentru dezvoltarea și implementarea LLM-urilor în contexte multilingve. Rezultatele indică faptul că factori precum data lansării, numărul de parametri sau performanța pe benchmark-uri în limba engleză nu prezic în mod fiabil capacitatea unui model în alte limbi, în special pentru sarcinile care implică disciplina scriptului. Acest lucru sugerează o necesitate de evaluări mai specifice limbii și, posibil, noi abordări arhitecturale pentru a îmbunătăți performanța translingvistică, studiul oferind, de asemenea, un API deschis pentru testare și dezvoltare continuă în comunitate.