Noul model GPT-5.6 Sol de la OpenAI atinge timpi de răspuns sub 100ms, îmbunătățind aplicațiile de agenți în timp real

OpenAI a lansat GPT-5.6 Sol, un avans semnificativ în performanța modelelor AI, oferind un timp de răspuns (time-to-first-token - TTFT) sub 100 de milisecunde. Această realizare este crucială pentru aplicațiile de agenți în timp real, făcând interacțiunile AI conversaționale să pară mai naturale și imediate prin reducerea drastică a întârzierilor de răspuns. Articolul subliniază că acesta nu este doar un benchmark, ci un prag practic de latență care permite un comportament fluid al agenților, contrastând cu competitori precum Claude 3.7 Sonnet și Gemini 3.7 Flash.

Inovația tehnică din spatele vitezei lui Sol este arhitectura sa "FlashDecode", care utilizează un mecanism unic de caching. Acest sistem menține un cache activ al straturilor inițiale ale modelului, reîmprospătat la fiecare 60 de secunde, permițând solicitărilor ulterioare să ocolească etapele inițiale de procesare. Acest lucru îmbunătățește dramatic throughput-ul și reduce latența percepută de utilizatori, permițând finalizarea unor sarcini complexe, cum ar fi configurarea dinamică a produselor și cotarea, în mai puțin de două secunde, imitând interacțiunea umană în loc de o interogare lentă a bazei de date.

Deși prețurile de input și output pentru Sol par mai mari decât la alte alternative, articolul susține eficiența sa cost-beneficiu în contexte B2B, comparând costurile API cu timpul și cheltuielile reprezentanților umani de vânzări. Cu toate acestea, avertizează împotriva așteptărilor ca Sol să rezolve problemele de aliniere AI și sfătuiește utilizatorii să măsoare TTFT real pe infrastructura lor, subliniind că accentul industriei se mută de la acuratețe la utilitate practică și viteză.