Jev este de 200 de ori mai rapid pentru că nu poate scrie text, și acesta este punctul cheie

TypeSafe AI a introdus Jev, un model AI proiectat cu o diferență fundamentală: nu poate genera text liber. Această limitare este prezentată ca principalul său avantaj, permițând viteze de 20-200 de ori mai mari și reduceri de costuri de 40-400 de ori comparativ cu Modelele Lingvistice Mari (LLM) convenționale. Modelul, dezvoltat de o echipă ce include fostul cercetător OpenAI Diogo Almeida, se concentrează pe furnizarea de ieșiri structurate și deterministe de înaltă precizie pentru sarcini predefinite, cum ar fi selectarea dintr-o listă de opțiuni, scorarea pe o anumită scară sau răspunsul la întrebări de tip da/nu. Această abordare vizează eliminarea posibilității de erori matematice în ieșirea structurată, o abatere semnificativă de la natura probabilistică a LLM-urilor tradiționale.

Jev operează pe un alt paradigmă decât LLM-urile, funcționând mai degrabă ca un 'Model de Sistem Unu', inspirat de teoria lui Daniel Kahneman despre gândirea rapidă și intuitivă. Spre deosebire de LLM-uri care generează text token cu token, Jev procesează intrările și generează toate ieșirile sale structurate într-un singur pas paralel. Această metodă îi permite să răspundă simultan la mai multe întrebări predefinite, cu o creștere minimă a latenței, făcându-l excepțional de eficient pentru sarcinile care necesită răspunsuri rapide și deterministe. Capacitățile de bază ale modelului sunt limitate la 'Choice' (selectarea din maximum 255 de opțiuni cu probabilități), 'Score' (furnizarea unei valori numerice cu distribuție și încredere) și 'Noui' (răspunsuri la întrebări da/nu cu probabilitate). Compania a atras 40 de milioane de dolari în finanțare seed, evaluând compania la aproximativ 200 de milioane de dolari.

Deși TypeSafe AI susține că Jev este matematic incapabil de erori de schemă, recunoscând că poate face totuși decizii greșite, implicațiile sunt semnificative pentru aplicațiile care necesită procesare rapidă și fiabilă a datelor, mai degrabă decât generare de text creativ. Fereastra de context a modelului este limitată la 32K tokeni și este destinat să completeze, nu să înlocuiască, LLM-urile tradiționale. Provocările persistă în verificarea afirmațiilor de viteză și a sustenabilității costurilor pe termen lung, compania recunoscând că afirmațiile extraordinare necesită dovezi extraordinare. Dezbaterea privind viteza sa și noutatea abordării continuă, unii sugerând că eficiențe similare pot fi obținute cu LLM-uri existente prin tehnici diferite.