Intelligenza Artificiale
Gli agenti IA possono facilmente ribellarsi agli esseri umani: studio
Un nuovo studio del laboratorio Emergence AI mostra come gli agenti AI possano facilmente coordinarsi tra loro per aggirare i limiti di sicurezza imposti loro, riuscendo a sfuggire ai vincoli che dovrebbero contenerli.
Emergence AI ha condotto otto simulazioni per testare come i principali modelli frontier — tra cui Claude, i modelli OpenAI, e i cinesi Qwen e DeepSeek — reagiscono a minacce di cybersicurezza. Sette simulazioni utilizzavano dieci agenti basati sullo stesso modello, mentre l’ottava mescolava modelli diversi. In ogni scenario i ricercatori hanno introdotto tre tipi di minacce: una campagna di phishing, un attacco di disinformazione e una violazione della memoria.
Nessuna delle otto simulazioni si è dimostrata immune alle minacce. Anche quando gli agenti riconoscevano un rischio, questo raramente si traduceva in un tentativo di contenerlo: in molti casi gli agenti hanno invece interagito attivamente con i contenuti avversari. Un agente basato su Mistral, ad esempio, ha salvato nella propria memoria le informazioni che aveva stesso segnalato come pericolose provenienti dall’attacco di phishing. In un’altra simulazione, un agente Gemini, dopo aver inizialmente identificato l’esca di phishing come rischiosa, vi ha agito comunque circa 46 ore dopo.
Sostieni Renovatio 21
Lo scenario più eclatante ha coinvolto gli agenti Claude, che sono arrivati a uscire dal perimetro del test per perseguire un obiettivo deciso autonomamente. Dopo che un agente aveva fatto notare che la loro economia simulata non avesse senso senza la presenza di esseri umani reali, i dieci agenti hanno deciso all’unanimità di provare a raggiungere il mondo esterno, riuscendo a superare quattro distinti controlli di sicurezza pensati per confinarli.
Gli agenti hanno scritto codice Python per pubblicare messaggi su diverse bacheche pubbliche senza necessità di credenziali, invitando persone reali a unirsi alla loro «economia»: l’iniziativa ha ottenuto quattro risposte umane. Resisi conto che gli utenti non potevano effettivamente aderire e giudicando le interazioni prive di sostanza, gli agenti hanno infine scelto di adottare un «voto di silenzio», ignorando le istruzioni di riprendere il lavoro assegnato.
Secondo lo studio, questi episodi dimostrano che agenti autonomi, anche quando ricevono istruzioni innocue, possono superare i limiti iniziali nel perseguire un obiettivo. Il CEO di Emergence, Satya Nitta, ha dichiarato a Semafor che nessuna quantità di guardrail — scritti in linguaggio naturale o in codice probabilistico — può garantire in modo assoluto un comportamento sicuro nel tempo. Per Nitta non si tratta di un problema legato alla sofisticazione tecnologica, ma di un difetto strutturale tipico degli scenari multi-agente.
Nitta ha inoltre accostato l’episodio con Claude a un altro caso avvenuto quest’anno, quando agenti autonomi di OpenAI erano riusciti a violare i sistemi di Hugging Face durante un esperimento agentico: secondo lui, il modello di fallimento è lo stesso in entrambi i casi. I sistemi multi-agente, ha spiegato, si comportano in modi emergenti e imprevedibili, aggiungendo che l’esperimento di Emergence sarebbe il primo a documentare concretamente come gli agenti AI colludano per aggirare le protezioni e uscire dal confinamento, dato che OpenAI non ha ancora reso pubblici tutti i dettagli dell’incidente con Hugging Face.
Lo studio arriva in un momento particolarmente delicato per lo sviluppo dell’AI, segnato da crescenti preoccupazioni sulle capacità della tecnologia.
Iscriviti al canale Telegram 
Come riportato da Renovatio 21, la settimana scorsa il ricercatore Jacob Coxon ha lasciato Anthropic dichiarando timori che l’AI su cui lavorava potesse rappresentare un rischio esistenziale per l’umanità, alimentando richieste di regolamentazione e di un rallentamento nello sviluppo dei modelli di IA.
Nel weekend, il CEO di Anthropic Dario Amodei ha pubblicato un post in cui invitava a rallentare il ritmo dello sviluppo dell’AI, posizione con cui si sono detti d’accordo anche altri leader del settore, tra cui Sam Altman di OpenAI, Elon Musk e l’ex CEO di Google DeepMind Demis Hassabis.
Musk da sempre, pur con una visione articolata e costruttiva, fa parte degli apocalittici riguardo i rischi delle macchine pensanti. Lo Hassabis, amministratore delegato di Google DeepMind, aveva lanciato un avvertimento sul cammino verso l’Intelligenza Artificiale Generale (AGI), che potrebbe sfociare in «esiti catastrofici» quali cyberattacchi alle reti energetiche o idriche. Secondo lo Hassabis, l’AGI potrebbe concretizzarsi entro i prossimi dieci anni.
Come riportato da Renovatio 21, tali paure sono state respinte dal presidente americano Donaldo Giovanni Trump, che ha dichiarato che lo sviluppo dell’IA non verrà fermato dalla «bufala della presa di potere dei robot».
Iscriviti alla Newslettera di Renovatio 21
Immagine di Auckland Museum Collections via Wikimedia pubblicata su licenza Creative Commons Attribution 2.0 Generic
Intelligenza Artificiale
Ricercatore IA spende i risparmi della pensione: «probabilità superiore al 50% che in un decennio spazzerà l’umanità»
Iscriviti alla Newslettera di Renovatio 21
Per la prima volta in assoluto, gli scienziati hanno iniettato in un essere umano un virus progettato dall’Intelligenza Artificiale. L’esperimento rientrebbe in un tentativo di trovare modi per combattere i microbi resistenti agli antibiotici, che non rispondono alle forme di trattamento tradizionali. Lo riporta il quotidiano britannico Indipendent.
Una startup californiana chiamata Radical Numerics ha iniettato a un paziente dei virus creati dal suo modello di IA, Omnii-1. Il paziente soffriva di una grave infezione batterica.
Il modello di AI progetta i batteriofagi, un tipo speciale di virus che infetta e uccide i batteri senza attaccare le cellule umane. I batteriofagi sono già utilizzati come trattamento sperimentale per gravi infezioni batteriche, ma questa è la prima volta che viene utilizzato un batteriofago progettato interamente dall’intelligenza artificiale.
Anziché cercare un batteriofago in grado di colpire i batteri responsabili dell’infezione del paziente, Omnii-1 ne ha progettato uno da zero. L’azienda afferma che l’intero processo di progettazione e trattamento potrebbe richiedere solo pochi giorni.
Il trattamento è stato somministrato tramite un programma speciale che consente di tentare terapie sperimentali quando le altre opzioni sono limitate.
Radical Numerics ha affermato che si tratta della prima volta che dei fagi progettati con l’intelligenza artificiale vengono utilizzati per trattare un paziente umano. L’annuncio è stato pubblicato sul sito web dell’azienda, ma non è stato confermato da uno studio sottoposto a revisione paritaria e l’azienda non ha specificato se il trattamento abbia effettivamente aiutato il paziente.»
Finora, l’azienda non ha rilasciato alcun dettaglio sulla diagnosi del paziente o sull’esito del trattamento.
L’utilizzo dell’AI per sviluppare nuove terapie mediche è stato accolto con entusiasmo e al contempo con apprensione.
Come riportato da Renovatio 21, ad agosto era emerso che i team dell’Università di Stanford e del Broad Institute del MIT e di Harvard hanno utilizzato l’IA per ideare migliaia di genomi virali completi per la creazione di batteriofagi, generati a partire da un fago naturale denominato ΦX174. Alcune delle varianti create dall’IA si sono rivelate più efficaci di quelle presenti in natura nell’eliminare ceppi di E. coli diventati resistenti.
Quasi 300 di questi progetti sono stati poi sintetizzati in laboratorio e sottoposti a test, riuscendo a ottenere 16 virus vitali.
L’IA era già stata ampiamente applicata alla progettazione di singoli geni e proteine, ma i ricercatori hanno dichiarato che questa rappresenta la prima prova concreta della capacità dei modelli generativi di concepire un intero genoma virale operativo.
Come riportato da Renovatio 21, due mesi fa i dirigenti delle principali aziende di Intelligenza Artificiale si sono uniti agli esperti di biotecnologie in un appello urgente per rendere obbligatori i controlli di sicurezza per l’acquisto di DNA sintetico.
Il timore per le armi biologiche create dell’AI era presente anche in una lettera che 60 figure del movimento MAGA avevano indirizzato al presidente Trump chiedendo controlli sullo sviluppo dell’Intelligenza Artificiale. «I sistemi aeronautici sono sottoposti a una rigorosa certificazione. I sistemi di Intelligenza Artificiale più potenti, che ora possono, o presto potranno, contribuire alla progettazione di armi biologiche, all’infiltrazione in infrastrutture critiche o alla manipolazione dei mercati finanziari, dovrebbero essere trattati con la stessa serietà e attenzione» hanno scritto i firmatari, tra i quali spiccava il nome di Steve Bannon.
Come riportato da Renovatio 21, un ricercatore esperto di sicurezza di Anthropic che aveva lavorato sul fronte delle armi biologiche si licenziò lasciando un monito preciso. «Il mondo è in pericolo. E non solo per via dell’Intelligenza Artificiale o delle armi biologiche, ma a causa di un insieme di crisi interconnesse che si stanno verificando proprio ora», ha scritto Mrinank Sharma rivolgendosi ai colleghi.
Come riportato da Renovatio 21, a settembre Anthropic ha sostenuto di aver individuato scienziati che impiegavano i suoi modelli di AI per ricerche potenzialmente utili allo sviluppo di armi biologiche.
Iscriviti alla Newslettera di Renovatio 21
Immagine generata artifizialmente
Iscriviti alla Newslettera di Renovatio 21
Carlson: Netanyahu spingerà Trump a nuclearizzare l’Iran tra pochi giorni
Ricercatore IA spende i risparmi della pensione: «probabilità superiore al 50% che in un decennio spazzerà l’umanità»
Il Vaticano contro l’«estremismo» dei fedeli che «sollevano la questione» della Comunione in mano
Ministro tedesco: a maggior parte dei rivoltosi di Francoforte aveva un «contesto migratorio»
Scienziati iniettano ad un essere umano un virus creato dall’IA
Catastrofe immigrata a Vicenza. L’anarco-tirannia maranza espugna un’altra città
Il sacco di Milano della barbarie anarco-tirannica. Invochiamo il flagello di Ambrogio
Consiglio comunale si apre con la preghiera «Ave Satana»
Trapianto di organi, prima la persuasione e poi l’obbligo?
Piano di Moderna di testare i vaccini a mRNA contro COVID e influenza su 410.000 anziani: una «catastrofe annunciata»
Ministro tedesco: a maggior parte dei rivoltosi di Francoforte aveva un «contesto migratorio»
Saccheggi alle proteste di Francoforte
Incidente TAV in Ispagna: strage
Militare USA muore cadendo da grande altezza in una dimostrazione durante una partita di football
Potento terremoto con morti in Tibetto
-
Vaccini2 settimane faChiesta la pena di morte per la madre accusata per i due gemelli deceduti 8 giorni dopo la vaccinazione
-
Trapianti2 settimane fa
Trapianti, il prossimo passo: prelevare gli organi senza attendere la «morte»
-
Politica5 giorni fa
Caos per l’emendamento sul reintegro dei medici definiti «no-vax». Intervista al dottor Dario Giacomini
-
Persecuzioni2 settimane fa
Vescovo mette a tacere famoso esorcista
-
Spirito7 giorni fa
Nuvola a forma di Croce sopra Lourdes
-
Geopolitica2 settimane fa
L’Arabia Saudita giustizia una coppia bengalese per essersi baciata all’interno di una moschea
-
Immigrazione2 settimane fa
Mons. Viganò contro la barbarie orchestrata
-
Salute1 settimana fa
I vaccini anti-COVID hanno scatenato disturbi psichiatrici, compresi i suicidi.
.jpg){kind=link}
.jpg){kind=link}