Agentul Tău Are Observabilitate. Nu Are Evaluări.

Articolul subliniază o deconectare critică în dezvoltarea agenților AI: adoptarea pe scară largă a instrumentelor de observabilitate contrastând cu o lipsă semnificativă de mecanisme robuste de evaluare. Un sondaj realizat pe 1.340 de practicieni a relevat că 89% au implementat observabilitate pentru agenții lor, iar 94% dintre echipele cu agenți în producție o utilizează. Cu toate acestea, doar 52,4% efectuează evaluări offline și doar 37,3% efectuează evaluări online, mai puțin de o treime utilizând ambele metode. Acest dezechilibru este problematic deoarece observabilitatea, deși utilă pentru urmărirea acțiunilor agentului, nu măsoară inerent corectitudinea sau calitatea acestora, care sunt citate ca fiind principalele bariere în calea implementării agenților.

Din punct de vedere tehnic, instrumentele de observabilitate, adesea construite pe standarde precum convențiile OpenTelemetry GenAI, capturează date telemetrice precum modelul utilizat, numărul de token-uri, latența și numele operațiunilor. Aceste urme înregistrează ce a făcut un agent, inclusiv apelurile către instrumente și starea lor de succes (de exemplu, „OK”). Cu toate acestea, ele nu conțin în mod inerent atribute pentru corectitudine. De exemplu, două urme identice ar putea reprezenta un agent care emite corect o rambursare și altul care rambursează incorect o sumă mare când era intenționată una mai mică. Datele din urme, inclusiv starea span-urilor și numărul de erori, ar apărea la fel, eșuând în a distinge între un apel API reușit și o decizie de afaceri corectă.

Acest decalaj are implicații semnificative pentru industrie, deoarece calitatea agentului (acuratețe, relevanță, consistență) este principala piedică în calea implementării în producție, însă este aspectul cel mai puțin măsurat. În timp ce instrumentele de observabilitate sunt mature și ușor de integrat, evaluarea necesită definirea unor criterii de corectitudine specifice domeniului, o conversație complexă pentru fiecare echipă. Articolul sugerează că adoptarea practicilor de evaluare trebuie să depășească integrările cu furnizorii și să abordeze aceste discuții fundamentale de produs pentru a avansa cu adevărat implementarea agenților.