Introducerea modelelor virtuale în AI Gateway

Vercel a introdus Virtual Models în AI Gateway, pentru ca echipele să gestioneze modelul și configurația folosite de o anumită sarcină printr-un singur ID virtual. Anterior, schimbarea modelului necesita de regulă modificarea ID-ului în codul aplicației și o nouă implementare, deși AI Gateway oferea deja rutare și comutare către furnizori de rezervă. Cu un Virtual Model, echipele pot schimba central modelul asociat, iar aplicațiile sau agenții care folosesc ID-ul primesc noua configurație în câteva minute, fără modificări de cod sau redeploy. Anunțul vine după ce AI Gateway a adăugat 125 de modele de la peste 10 laboratoare în cele 90 de zile precedente, aproximativ 10 modele noi pe săptămână.

Un ID Virtual Model, precum `vmc/coding-agent`, poate fi transmis ca șir de model oriunde rulează o sarcină, inclusiv în instrumentele compatibile pentru agenți de programare. Configurația sa poate stabili prioritatea furnizorilor și modelele de rezervă, Zero Data Retention, etichetele și alte setări; acestea se aplică oriunde este utilizat ID-ul. Setările Virtual Model au prioritate față de setările contradictorii din cerere, astfel încât apelanții nu pot suprascrie ordinea furnizorilor, mecanismele de rezervă sau nivelul de serviciu stabilite central, iar etichetele modelului virtual înlocuiesc etichetele cererii pentru urmărirea costurilor pe sarcină. Opțiunile specifice unui furnizor se aplică doar cât timp este selectat furnizorul respectiv, așa că echipele ar trebui să le verifice la schimbarea furnizorului. Funcția acceptă toate tipurile de modele AI din AI Gateway, inclusiv modele pentru imagini, video, vorbire, embeddings și utilizare în timp real, și este compatibilă cu AI SDK și API-urile compatibile cu OpenAI și Anthropic.

Funcția le oferă echipelor de platformă și securitate o modalitate de a controla central accesul la modele și de a impune setări, permițând totodată echipelor de aplicații să adopte modele noi fără intervenții de implementare. Vercel recomandă testarea unui Virtual Model candidat prin evaluări înainte de a muta traficul de producție, astfel încât echipele să compare calitatea și să poată reveni la configurația anterioară dacă este necesar. Virtual Models pot fi create din tabloul de bord al echipei sau prin Vercel CLI, iar rolurile stabilesc cine le poate modifica.