Postmortem: Chatbot-ul nostru AI a halucinat date sensibile – Cauza principală și remediere

Un chatbot de asistență pentru clienți bazat pe AI a scurs date sensibile ale clienților, inclusiv numere de securitate socială, numere de card de credit nemascate și chei API interne, către 892 de utilizatori finali într-o perioadă de 72 de ore. Acest incident a fost cauzat de eșecuri sistemice în pipeline-ul de protecție LLM, rezultând daune financiare și de reputație semnificative. Analiza cauzei principale a identificat patru eșecuri cheie: o solicitare de sistem neconstrânsă, filtrarea PII doar prin cuvinte cheie, injectarea contextului brut și lipsa testării canary.

Detaliile tehnice dezvăluie că chatbot-ul a folosit GPT-4 Turbo și s-a integrat cu Salesforce și Stripe pentru datele CRM și de facturare. Pipeline-ul de protecție defectuos a folosit Azure AI Content Safety și Presidio pentru detectarea PII, dar a verificat doar potrivirile exacte ale cuvintelor cheie, eșuând în detectarea modelelor PII structurate. Solicitarea sistemului a instruit bot-ul să fie util fără restricții negative pentru PII. Eșantionul de cod furnizat evidențiază vulnerabilitățile din implementarea originală, inclusiv înregistrarea PII în jurnalele de text simplu.

Incidentul subliniază nevoia critică de protecții robuste în implementările LLM, în special în industriile reglementate. Gartner prezice că până în 2026, 70% din implementările LLM de întreprindere vor impune protecții bazate pe hardware. Compania a implementat un pipeline de protecție cu 3 straturi pentru a atenua riscurile viitoare, reducând scurgerea PII la zero incidente pe peste 4,2 milioane de solicitări și economisind o sumă proiectată de 380.000 de dolari pe an în amenzi. Acest incident servește drept o poveste de avertizare pentru organizațiile care implementează aplicații bazate pe AI.