Avocați brazilieni prinși încercând să manipuleze AI-ul instanței prin prompt injection ascuns

Avocații care reprezentau un reclamant într-un proces de muncă din Brazilia au fost prinși încercând să influențeze AI-ul instanței printr-un prompt injection ascuns într-un document juridic. Incidentul arată cum instrucțiunile inserate în documente depuse oficial pot fi folosite pentru a viza sisteme AI implicate în fluxurile de lucru judiciare. Tactica nu a fost necesară în acest caz, deoarece reclamantul a câștigat în cele din urmă după ce pârâtul nu a răspuns.

Articolul descrie metoda drept prompt injection, dar nu oferă detalii despre formularea instrucțiunii ascunse, sistemul AI al instanței sau modul în care tentativa a fost detectată. De asemenea, nu precizează când a avut loc incidentul și nu descrie măsurile tehnice de protecție ale instanței. Contextul cunoscut se limitează la un litigiu de muncă din Brazilia și la o încercare de a influența AI-ul utilizat de instanță prin conținut ascuns într-un document depus.

Cazul evidențiază un posibil risc de securitate pentru instituțiile care folosesc AI pentru a asista procesarea documentelor sau procedurile judiciare, deoarece materialele transmise pot conține instrucțiuni destinate sistemului, nu cititorilor umani. Totuși, articolul nu menționează schimbări de politici sau măsuri tehnice adoptate ulterior, iar câștigul reclamantului nu a depins de această tentativă.