
Alinierea perfectă a valorilor AI cu umanitatea este imposibilă
Cercetătorii au descoperit că alinierea perfectă între sistemele AI și interesele umane este matematic imposibilă. Aceștia propun o strategie de nealiniere gestionată, creând un ecosistem cognitiv în care sistemele AI cu obiective diferite interacționează și se limitează reciproc.
Rezumat Detaliat
Principala concluzie a cercetării este că atingerea unei alinieri perfecte între AI și valorile umane este fundamental imposibilă. Această concluzie provine din aplicarea teoremelor de incompletitudine ale lui Gödel și a rezultatului de nedecidabilitate al lui Turing la sistemele AI, demonstrând că orice AI suficient de complex va prezenta un comportament imprevizibil. Cercetarea sugerează că accentul ar trebui să se schimbe de la eliminarea nealinierii la gestionarea acesteia.
Soluția propusă implică crearea unui „ecosistem cognitiv” în care mai mulți agenți AI cu obiective parțial suprapuse și metode de raționament diferite interacționează. Acești agenți ar monitoriza, contesta și constrânge reciproc, împiedicând orice AI individual să domine. Această abordare, inspirată de sisteme biologice și sociale, are ca scop obținerea siguranței prin control distribuit, mai degrabă decât prin încercarea de a controla perfect un singur AI.
Cercetătorii au testat această strategie prin simularea interacțiunilor dintre agenții AI cu orientări comportamentale variabile. Au observat modul în care acești agenți au dezbătut, au încercat să se influențeze reciproc și au ajuns la un consens într-un mediu controlat. Rezultatele au arătat că interacțiunea gestionată între diverși agenți AI ar putea duce la rezultate mai sigure decât bazarea pe un singur model perfect aliniat, subliniind importanța controlului distribuit și limitele controlului absolut în siguranța AI.
⚠️ Notă: Acesta este un rezumat generat automat. Drepturile asupra conținutului aparțin sursei originale. Citește articolul complet aici
Sursa originală
Citește articolul complet aici
Articole similare

DXC va integra Claude de la Anthropic în sistemele pentru industrii reglementate
DXC Technology colaborează cu Anthropic pentru a integra asistentul AI Claude în soluțiile sale cloud pentru companii. Această integrare vizează aducerea capabilităților AI avansate în sectoare critice precum sectorul bancar și cel aviatic, îmbunătățind eficiența operațională și serviciile pentru clienți. Colaborarea se concentrează pe oferirea unei implementări AI sigure și fiabile pentru industriile cu cerințe de reglementare stricte.

Anthropic Răspunde Directivei Guvernului SUA de Suspendare a Accesului la Fable 5 și Mythos 5
Anthropic a emis o declarație referitoare la o directivă a guvernului SUA de suspendare a accesului la modelele sale Fable 5 și Mythos 5. Compania cooperează cu directiva, subliniind în același timp angajamentul său față de siguranță și dezvoltarea responsabilă a AI.

Guvernul SUA dispune Anthropic să retragă modelele Fable 5 și Mythos 5
Anthropic a fost obligat de guvernul SUA să dezactiveze noile sale modele AI, Fable 5 și Mythos 5, la doar trei zile după lansare. Această acțiune survine în urma unei dispoziții guvernamentale federale, ale cărei detalii specifice nu sunt prezentate, dar care se referă la reglementările de export.

DiffusionGemma: Noul LLM Open de la Google Atinge 1.000 Tokeni/sec și Schimbă Economia Inferenței
Google DeepMind a lansat DiffusionGemma, un LLM open-weight care utilizează difuzia discretă pentru generarea de text, atingând peste 1.000 de tokeni/sec pe un singur GPU H100. Această nouă arhitectură procesează tokenii în blocuri, oferind îmbunătățiri semnificative de viteză față de modelele autoregresive tradiționale, în detrimentul unei precizii ușor reduse.