Indexul de producție AI Gateway

AI Gateway de la Vercel analizează datele de trafic de producție, oferind o perspectivă unică asupra peisajului modelelor AI. Raportul, bazat pe datele din șapte luni de la peste 200.000 de echipe, dezvăluie modul în care diferite modele sunt utilizate în aplicații reale. Analiza se concentrează pe costuri, volumul de token-uri și rolul în evoluție al agenților AI.

Anthropic conduce în ceea ce privește cheltuielile, în timp ce Google domină în volumul de token-uri, demonstrând strategiile diverse ale furnizorilor de AI. Raportul evidențiază compromisurile cost/volum, unele modele fiind optimizate pentru volum mare, iar altele pentru sarcini critice pentru calitate. Studiul examinează, de asemenea, impactul diferitelor sarcini de lucru, cum ar fi asistenții personali versus fluxurile de lucru de back-office, asupra selecției modelului și a structurilor de cost. Datele arată că aplicațiile B2B au costuri mai mari per token decât aplicațiile B2C.

Constatările indică un peisaj fragmentat al furnizorilor, Anthropic concentrându-se pe aplicații cu miză mare, iar Google excelând în serviciile orientate către consumatori. xAI este poziționat ca lider de preț, în timp ce OpenAI demonstrează o abordare mai echilibrată în diferite cazuri de utilizare. Raportul notează, de asemenea, o creștere semnificativă a apelurilor la instrumente, indicând importanța tot mai mare a agenților AI. Această trecere de la cererile în formă de chat la cele în formă de agent are implicații pentru structura de cost a aplicațiilor AI.