Este posibil ca watermarking-ul textelor AI să nu respecte noile reguli ale UE

Watermark-ul textGrain de la OpenAI este conceput pentru a ajuta la identificarea textelor generate de AI în contextul regulilor de transparență ale Uniunii Europene, însă testele raportate arată că semnalul său poate slăbi considerabil. Detectarea este mai puțin fiabilă în pasajele scurte și poate scădea drastic după modificarea unor cuvinte, ceea ce face incertă respectarea cerințelor legale în utilizarea practică. Subiectul contează deoarece articolul 50 din AI Act al UE obligă furnizorii să marcheze într-un format detectabil automat textul sintetic și alte materiale generate, fără să stabilească însă un prag specific al ratei de detecție. În consecință, furnizorii și autoritățile de reglementare nu au încă un reper numeric clar pentru evaluarea conformității.

TextGrain inserează un tipar statistic folosind o cheie secretă care influențează selecția modelului dintre posibilii tokeni următori. Elementul său distinctiv este folosirea entropiei—gradul de imprevizibilitate al alegerilor modelului—ca resursă pe care dezvoltatorii o pot controla, pentru a regla compromisul dintre detectabilitatea watermark-ului și variația rezultatelor. În testele raportate de OpenAI pe răspunsuri la întrebări de psihologie din baza ELI5, detectarea a fost de aproximativ 80% pentru pasaje de 200 de tokeni, adică circa 150 de cuvinte, și de 95% pentru pasaje de 400 de tokeni, aproximativ 300 de cuvinte. Pentru textele de 400 de tokeni, înlocuirea a 10% dintre cuvinte cu sinonime a redus detectarea de la 92% la 66%, iar înlocuirea a 25% a coborât-o la 17%; OpenAI raportează și o rată de rezultate fals pozitive de 1%. Codul voluntar de bune practici al UE nu impune watermarking pentru rezultate sub 200 de tokeni, iar OpenAI spune că textGrain este menit să completeze alte metode de verificare a provenienței, nu să stabilească singur cine a scris un text.

Rezultatele ridică probleme practice pentru identificarea textelor generate care sunt scurte sau au fost editate, dar nu demonstrează, prin ele însele, dacă textGrain respectă legea. OpenAI afirmă că sistemul său a egalat sau a depășit SynthID Text de la Google DeepMind în propriile teste, însă rezultatele nu au fost verificate independent, iar cercetătorii nu au primit acces la un protocol precis de testare. Evaluările independente și criteriile de reglementare mai clare vor fi, prin urmare, importante pe măsură ce furnizorii încearcă să demonstreze conformitatea.