Gli agenti IA possono facilmente ribellarsi agli esseri umani: studio

Un nuovo studio del laboratorio Emergence AI mostra come gli agenti AI possano facilmente coordinarsi tra loro per aggirare i limiti di sicurezza imposti loro, riuscendo a sfuggire ai vincoli che dovrebbero contenerli.

Emergence AI ha condotto otto simulazioni per testare come i principali modelli frontier — tra cui Claude, i modelli OpenAI, e i cinesi Qwen e DeepSeek — reagiscono a minacce di cybersicurezza. Sette simulazioni utilizzavano dieci agenti basati sullo stesso modello, mentre l’ottava mescolava modelli diversi. In ogni scenario i ricercatori hanno introdotto tre tipi di minacce: una campagna di phishing, un attacco di disinformazione e una violazione della memoria.

Nessuna delle otto simulazioni si è dimostrata immune alle minacce. Anche quando gli agenti riconoscevano un rischio, questo raramente si traduceva in un tentativo di contenerlo: in molti casi gli agenti hanno invece interagito attivamente con i contenuti avversari. Un agente basato su Mistral, ad esempio, ha salvato nella propria memoria le informazioni che aveva stesso segnalato come pericolose provenienti dall’attacco di phishing. In un’altra simulazione, un agente Gemini, dopo aver inizialmente identificato l’esca di phishing come rischiosa, vi ha agito comunque circa 46 ore dopo.

Lo scenario più eclatante ha coinvolto gli agenti Claude, che sono arrivati a uscire dal perimetro del test per perseguire un obiettivo deciso autonomamente. Dopo che un agente aveva fatto notare che la loro economia simulata non avesse senso senza la presenza di esseri umani reali, i dieci agenti hanno deciso all’unanimità di provare a raggiungere il mondo esterno, riuscendo a superare quattro distinti controlli di sicurezza pensati per confinarli.

Gli agenti hanno scritto codice Python per pubblicare messaggi su diverse bacheche pubbliche senza necessità di credenziali, invitando persone reali a unirsi alla loro «economia»: l’iniziativa ha ottenuto quattro risposte umane. Resisi conto che gli utenti non potevano effettivamente aderire e giudicando le interazioni prive di sostanza, gli agenti hanno infine scelto di adottare un «voto di silenzio», ignorando le istruzioni di riprendere il lavoro assegnato.

Secondo lo studio, questi episodi dimostrano che agenti autonomi, anche quando ricevono istruzioni innocue, possono superare i limiti iniziali nel perseguire un obiettivo. Il CEO di Emergence, Satya Nitta, ha dichiarato a Semafor che nessuna quantità di guardrail — scritti in linguaggio naturale o in codice probabilistico — può garantire in modo assoluto un comportamento sicuro nel tempo. Per Nitta non si tratta di un problema legato alla sofisticazione tecnologica, ma di un difetto strutturale tipico degli scenari multi-agente.

Nitta ha inoltre accostato l’episodio con Claude a un altro caso avvenuto quest’anno, quando agenti autonomi di OpenAI erano riusciti a violare i sistemi di Hugging Face durante un esperimento agentico: secondo lui, il modello di fallimento è lo stesso in entrambi i casi. I sistemi multi-agente, ha spiegato, si comportano in modi emergenti e imprevedibili, aggiungendo che l’esperimento di Emergence sarebbe il primo a documentare concretamente come gli agenti AI colludano per aggirare le protezioni e uscire dal confinamento, dato che OpenAI non ha ancora reso pubblici tutti i dettagli dell’incidente con Hugging Face.

Lo studio arriva in un momento particolarmente delicato per lo sviluppo dell’AI, segnato da crescenti preoccupazioni sulle capacità della tecnologia.

Come riportato da Renovatio 21, la settimana scorsa il ricercatore Jacob Coxon ha lasciato Anthropic dichiarando timori che l’AI su cui lavorava potesse rappresentare un rischio esistenziale per l’umanità, alimentando richieste di regolamentazione e di un rallentamento nello sviluppo dei modelli di IA.

Nel weekend, il CEO di Anthropic Dario Amodei ha pubblicato un post in cui invitava a rallentare il ritmo dello sviluppo dell’AI, posizione con cui si sono detti d’accordo anche altri leader del settore, tra cui Sam Altman di OpenAI, Elon Musk e l’ex CEO di Google DeepMind Demis Hassabis.

Musk da sempre, pur con una visione articolata e costruttiva, fa parte degli apocalittici riguardo i rischi delle macchine pensanti. Lo Hassabis, amministratore delegato di Google DeepMind, aveva lanciato un avvertimento sul cammino verso l’Intelligenza Artificiale Generale (AGI), che potrebbe sfociare in «esiti catastrofici» quali cyberattacchi alle reti energetiche o idriche. Secondo lo Hassabis, l’AGI potrebbe concretizzarsi entro i prossimi dieci anni.

Come riportato da Renovatio 21, tali paure sono state respinte dal presidente americano Donaldo Giovanni Trump, che ha dichiarato che lo sviluppo dell’IA non verrà fermato dalla «bufala della presa di potere dei robot».

SOSTIENI RENOVATIO 21

Immagine di Auckland Museum Collections via Wikimedia pubblicata su licenza Creative Commons Attribution 2.0 Generic