Erorile de copiere a datelor în agenți rezolvate prin utilizarea căilor de fișiere în loc de lipirea datelor

Acest articol detaliază o problemă întâmpinată cu un agent AI conceput pentru a analiza date de backtesting financiar, în special tendința sa de a omite numere la copierea unor seturi mari de date în apelurile de instrumente. Autorul a observat că lipirea directă a seriilor de randamente în promptul agentului a dus la o degradare semnificativă a acurateței, modelul făcând greșeli identice pe parcursul mai multor rulări. Această problemă a provenit din dificultatea modelului de a transcrie cu precizie sute de puncte de date numerice, rezultând într-o intrare coruptă pentru instrumentul de analiză și, în consecință, rezultate incorecte, greu de detectat fără o bază de adevăr.

Configurația tehnică a implicat un server local care rula un instrument MCP (Model-Centric Processing) ce calculează lungimile necesare ale istoricului pentru strategiile financiare, bazate pe raportul Sharpe. Sarcina agentului era să pună întrebări precum „de câți ani de istoric are nevoie această serie de randamente înainte ca Sharpe să depășească 1.0 la o încredere de 95%?”. Au fost testate trei metode: utilizarea instrumentelor vechi cu randamente lipite, utilizarea unui nou instrument de audit cu un singur apel cu randamente lipite și utilizarea aceluiași instrument cu randamente specificate printr-o cale de fișier. Rezultatele au arătat un contrast puternic: metoda căii de fișier a atins 8 din 9 răspunsuri corecte, în timp ce lipirea datelor a produs doar 4 din 9 răspunsuri corecte, iar metoda instrumentelor vechi a eșuat toate cele 9 rulări.

Implicațiile acestei descoperiri sunt substanțiale pentru dezvoltatorii care creează instrumente bazate pe AI care interacționează cu sisteme externe sau necesită intrări mari de date. Experimentul a demonstrat că modelele AI sunt mai potrivite pentru luarea deciziilor și orchestrarea sarcinilor, decât pentru a acționa ca intermediari de date. Atunci când se lucrează cu date extinse, transmiterea unei referințe, cum ar fi o cale de fișier sau un URL, permite instrumentului să preia datele direct, ocolind limitările inerente ale modelului în transcrierea datelor și îmbunătățind semnificativ atât acuratețea, cât și eficiența. Autorul sugerează că aceasta este o lecție generală aplicabilă oricărui instrument care necesită date substanțiale, îndemnând dezvoltatorii să considere rolul modelului ca un controlor, nu ca o mașină de copiat.