Consolele PS5 cu jailbreak pot rula modele AI locale cu peste 100 de tokenuri pe secundă

O versiune derivată din PS5LM ar permite consolelor PlayStation 5 cu jailbreak să ruleze nativ modele lingvistice mari, direct pe dispozitiv. Metoda folosește GPU-ul consolei și o cantitate mai mare din memoria disponibilă, ceea ce îi permite să gestioneze modele mai mari decât configurația anterioară. Rezultatele raportate sunt relevante deoarece arată că o consolă de jocuri destinată consumatorilor poate fi reutilizată pentru inferență AI locală, fără a depinde de un serviciu la distanță. Articolul descrie această capabilitate ca pe o demonstrație tehnică, nu ca pe o funcție oficială Sony.

Potrivit relatării, software-ul poate depăși 100 de tokenuri pe secundă pentru unele modele, însă nu sunt precizate modelele respective sau condițiile de testare. Articolul mai afirmă că Qwen3.8-27B rulează cu aproximativ 20 de tokenuri pe secundă, ceea ce indică faptul că sistemul poate încărca un model cu 27 de miliarde de parametri, dar cu o viteză de generare mai redusă. Execuția nativă și accesul la GPU și la mai multă memorie RAM sunt schimbările menționate pentru a explica suportul modelelor mai mari. Textul nu oferă informații despre alocarea memoriei, cuantizare, consumul de energie, dependențele software sau metodologia benchmarkurilor, astfel că nu se pot face comparații clare cu hardware-ul dedicat pentru AI.

Proiectul evidențiază potențialul hardware-ului de consum modificat ca platformă experimentală pentru AI locală, dar necesită o consolă cu jailbreak și software neoficial. Relevanța mai largă va depinde de posibilitatea reproducerii rezultatelor, de suportul pentru alte modele și de performanța în sarcini diferite. Articolul nu menționează o adoptare oficială sau o lansare comercială, iar pentru evaluarea fiabilității și utilității practice sunt necesare detalii tehnice suplimentare.