Memoria latentă 3D cu Gaussieni permite randarea în timp real

Cercetătorii prezintă L3G-World, un sistem pentru generarea interactivă a lumilor, care folosește o memorie 3D persistentă alcătuită din primitive Gaussiene ce conțin caracteristici latente VAE. Spre deosebire de metodele anterioare, care re- codifică imaginile RGB randate înainte de a condiționa un generator latent, sistemul randează direct caracteristicile stocate în spațiul latent și elimină astfel un blocaj important de procesare. Rezultatele raportate sugerează că această abordare poate face generarea de lumi bazată pe câmpuri de radianță mult mai receptivă, păstrând totodată o fidelitate vizuală de ultimă generație. Acest lucru contează pentru aplicațiile care trebuie să mențină scene coerente pe măsură ce utilizatorii le explorează, în loc să genereze doar secvențe scurte de conținut.

Lucrarea raportează o randare RGB de 8,3–10,4 ori mai rapidă și o creștere de 349–359 de ori a debitului de condiționare VAE față de pipeline-ul anterior relevant. Reprezentarea folosește de până la 38,6 ori mai puține primitive 3D decât NeoVerse, descris drept cel mai eficient reper anterior bazat pe Gaussieni, reducând memoria necesară și volumul de lucru pentru parcurgerea prin ray marching. L3G-World își actualizează memoria și de 3,2 ori mai rapid, rafinând totodată Gaussienii din regiunile observate recent. Evaluarea atinge 9 cadre pe secundă pentru generarea interactivă și acoperă două seturi de date cu scene de interior; metoda se bazează pe un VAE preantrenat și stochează informațiile scenei în reprezentarea latentă a acestuia.

Rezultatele indică o posibilă cale spre reprezentări 3D persistente mai eficiente pentru generarea interactivă, inclusiv pentru utilizări AR și VR, însă măsurătorile prezentate nu demonstrează performanța în medii mai mari sau mai diverse. Scenele de exterior, lumile de scară kilometrică, ratele mai mari de cadre și compatibilitatea cu domenii noi de resurse grafice nu au fost testate în evaluarea descrisă. Sunt necesare benchmark-uri mai ample pentru a stabili dacă avantajele de viteză se generalizează și cum se compară abordarea cu backend-urile de randare existente în aplicații practice.