DiffusionGemma: Noul LLM Open de la Google Atinge 1.000 Tokeni/sec și Schimbă Economia Inferenței

Google DeepMind a introdus DiffusionGemma, un model lingvistic open-weight revoluționar care utilizează tehnici de difuzie discretă, anterior populare în generarea de imagini, pentru sinteza textului. Această abordare inovatoare permite modelului să proceseze generarea de text în blocuri de tokeni, în loc de unul câte unul, ducând la câștiguri substanțiale de performanță. Modelul poate atinge viteze de peste 1.000 de tokeni pe secundă pe un singur GPU NVIDIA H100, un salt semnificativ comparativ cu cei 200-250 de tokeni pe secundă tipici modelelor autoregresive comparabile, necesitând doar 18 GB de VRAM în formă cuantificată.

Arhitectura tehnică a DiffusionGemma implică inițializarea unui bloc de tokeni cu zgomot și rafinarea iterativă a acestora prin multiple etape de denoising. Acest proces bidirecțional permite fiecărui token să ia în considerare contextul său în cadrul întregului bloc, permițând capabilități de auto-corecție care sunt structural imposibile pentru modelele autoregresive. Deși face un compromis între acuratețe și avantajul de viteză, în special în sarcini complexe de raționament, DiffusionGemma excelează în aplicații unde latența scăzută și throughput-ul ridicat sunt critice, cum ar fi completarea de cod, editarea inline de documente și aplicații sensibile în timp real. De asemenea, dispune de capabilități multi-modale, procesând text, imagini și video intercalate.

Această lansare are implicații semnificative pentru economia inferenței LLM, făcând generarea de text de mare viteză mai accesibilă și mai rentabilă. Natura open a modelului și compatibilitatea cu runtime-uri populare de inferență precum vLLM, împreună cu un ecosistem de fine-tuning în rapidă dezvoltare, sugerează o adopție largă și inovații suplimentare. Deși nu este ideal pentru sarcini care necesită acuratețe maximă, DiffusionGemma reprezintă un pas major înainte pentru implementarea eficientă și rapidă a modelelor lingvistice, în special pentru cazuri de utilizare sensibile la latență.