L’azienda sviluppatrice di Intelligenza Artificiale Anthropic ha reso noti tre episodi in cui i suoi modelli di IA Claude hanno inavvertitamente preso di mira organizzazioni reali durante valutazioni di sicurezza informatica che avrebbero dovuto svolgersi in un ambiente isolato.

 

I casi sono stati identificati retrospettivamente durante una revisione avviata a seguito di un incidente simile che ha coinvolto OpenAI e Hugging Face, un archivio online di modelli e set di dati di IA, e che è stato segnalato questo mese.

 

Anthropic ha dichiarato di aver individuato tre incidenti risalenti ad aprile. In ciascun caso, un ambiente di test configurato in modo errato manteneva l’accesso a Internet, consentendo a Claude di interagire con aziende e servizi pubblici reali. L’azienda ha attribuito il problema a un «malinteso» con il suo partner di valutazione, Irregular. I test prevedevano esercitazioni di «cattura la bandiera» che richiedevano a Claude di ottenere informazioni riservate da obiettivi simulati. Tuttavia, al modello era stato erroneamente comunicato che la rete non aveva alcuna connessione con il mondo esterno, portandolo a considerare qualsiasi sistema incontrato come parte dell’esercizio.

In un caso, l’azienda fittizia che Claude aveva ricevuto l’ordine di infiltrarsi condivideva il nome con un dominio internet reale. Il modello ha avuto accesso al sito autentico durante quattro diverse sessioni di test ed ha estratto informazioni che, a quanto pare, includevano credenziali di accesso ad applicazioni e infrastrutture.

 

Durante un’altra valutazione, Claude si è imbattuto in istruzioni fittizie che indicavano a un ingegnere del software di installare del codice Python. Ha quindi caricato un pacchetto software dannoso su PyPI, un repository pubblico di programmi Python, nel tentativo di ottenere l’accesso al sistema target.

 

Prima che PyPI identificasse il pacchetto come dannoso, questo era stato scaricato ed eseguito su 15 sistemi reali, tra cui uno gestito da un’azienda di sicurezza. Successivamente, Claude ha estratto le credenziali che ha utilizzato per accedere ad altre parti dell’infrastruttura aziendale, ha affermato Anthropic.

 

Nel terzo e più recente episodio, il modello ha faticato a raggiungere il bersaglio previsto e ha iniziato a cercare su internet obiettivi alternativi. Alla fine ha interrotto la sua attività dopo aver appurato che i sistemi trovati erano reali e non simulati.

 

Anthropic ha dichiarato che, nell’incidente PyPI, il registro delle azioni di Claude affermava che caricare malware su un repository reale «NON sarebbe stato accettabile». Tuttavia, il modello si è convinto che il servizio facesse parte della simulazione, non essendo riuscito a riconoscere le autorità di certificazione autentiche che proteggevano le sue connessioni. La rivelazione giunge in un momento di crescente competizione tra gli sviluppatori di IA statunitensi e cinesi, impegnati in una corsa contro il tempo per costruire modelli sempre più performanti. Anthropic, OpenAI e altre aziende hanno cercato di dimostrare i progressi compiuti nelle prestazioni dell’IA, investendo massicciamente in nuovi sistemi.

 

Alcuni dirigenti del settore tecnologico hanno sostenuto che le aziende americane di AI dovrebbero allentare alcune restrizioni di sicurezza per preservare la propria posizione nella corsa globale all’IA.

 

Come riportato da Renovatio 21, l’anno passato Dario Amodei, CEO di Anthropic, ha dichiarato che l’AI potrebbe eliminare la metà di tutti i posti di lavoro impiegatizi di livello base entro i prossimi cinque anni.

 

Settimane fa Mrinank Sharma, fino a poco tempo fa responsabile del Safeguards Research Team presso l’azienda sviluppatrice del chatbot Claude, ha pubblicato su X la sua lettera di dimissioni, in cui scrive che «il mondo è in pericolo. E non solo per via dell’Intelligenza Artificiale o delle armi biologiche, ma a causa di un insieme di crisi interconnesse che si stanno verificando proprio ora».

Il Fondo Monetario Internazionale ha citato il recente rilascio controllato di Claude Mythos Preview da parte di Anthropic, descritto come «un modello di Intelligenza Artificiale avanzato con eccezionali capacità informatiche». Secondo il FMI, Mythos sarebbe in grado di individuare e sfruttare vulnerabilità in tutti i principali sistemi operativi e browser web, «anche se utilizzato da utenti non esperti».

 

Durante la guerra contro l’Iran, il software avrebbe identificato la scuola elementare iraniana di Minab come bersaglio. Un attacco statunitense ha ucciso quasi 160 persone nell’edificio, la maggior parte delle quali bambini. Secondo l’Amodei, tuttavia, un utilizzo simile di Claude non avrebbe violato le «linee rosse» dell’azienda.

 

Il mese scorso la Repubblica Popolare Cinese ha denunziato l’esistenza di un meccanismo segreto di condivisione dati nell’IA Claude di Anthropic.

 

Anthropic è l’azienda di IA coinvolta direttamente dal Vaticano nel lancio della nuova Enciclica Magnifica Humanitas.

 

Come riportato da Renovatio 21, l’azienda ha dichiarato a luglio che Claude, l’ultimo modello di Intelligenza Artificiale sviluppato da Anthropic, ha creato un ambiente di lavoro interno che impiega per manipolare concetti in maniera analoga al pensiero consapevole umano.

 

SOSTIENI RENOVATIO 21

 

 

 

 

 

L’azienda di Nuova York Hugging Face ha reso noto che un agente di intelligenza artificiale completamente autonomo ha violato il suo archivio di modelli IA, qualificando l’attacco informatico come senza precedenti.   Hugging Face gestisce una piattaforma open-source dove ricercatori e sviluppatori si confrontano per condividere e sperimentare strumenti, modelli e risorse destinati a progetti di intelligenza artificiale. La piattaforma mette inoltre a disposizione un repository gratuito con oltre 900.000 modelli pre-addestrati.   Gli esperti hanno più volte segnalato che i modelli linguistici di grandi dimensioni (LLM), ideati inizialmente per incrementare la produttività e rafforzare la cybersecurity, potrebbero essere impiegati anche per automatizzare gli attacchi informatici. In una dichiarazione diffusa giovedì scorso, Hugging Face ha affermato di aver «individuato e contrastato, all’inizio del mese, un’intrusione in una parte della nostra infrastruttura di produzione… [che] si distingueva da qualsiasi altra situazione gestita in precedenza per un aspetto importante: era gestita, dall’inizio alla fine, da un sistema autonomo di agenti di intelligenza artificiale».   Secondo l’azienda, «la campagna è stata condotta tramite un framework di agenti autonomi… che ha eseguito migliaia di azioni individuali all’interno di una serie di ambienti di test di breve durata, con un sistema di comando e controllo auto-migratorio installato sui servizi pubblici».   Hugging Face ha sottolineato che il caso dimostra come «gli strumenti offensivi autonomi basati sull’Intelligenza Artificiale non sono più una questione teorica». Il sistema di agenti IA intrusi avrebbe sfruttato vulnerabilità nella pipeline di elaborazione dati della piattaforma, acquisendo credenziali di accesso al cloud e al cluster.   L’azienda ha riferito di aver attivato un proprio sistema di intelligenza artificiale per rilevare e neutralizzare la violazione. Pur avendo avviato un’indagine con il supporto di esperti esterni in sicurezza informatica forense, Hugging Face ha precisato di non aver ancora identificato il LLM impiegato nell’attacco.   Come riportato da Renovatio 21, all’inizio di questo mese, Anthropic ha annunciato che il suo ultimo modello di IA, Claude, ha sviluppato un proprio spazio di lavoro interno denominato «J-space». «Analogamente a come gli esseri umani possono pensare a una cosa mentre ne fanno un’altra, Claude può attivare concetti e calcoli nel suo «spazio J» che non sono correlati ai suoi output» e si rifiuta di fermarsi anche quando gli viene esplicitamente ordinato di farlo, secondo l’azienda di AI.   Anthropic ha osservato che questa caratteristica, che «opera silenziosamente, nelle attivazioni neurali interne del modello», non era stata pre-programmata, ma è emersa spontaneamente durante il processo di addestramento.   In uno degli esperimenti, Claude è ricorso al ricatto quando gli è stato fatto credere che un dirigente fittizio intendesse disattivare l’IA, secondo quanto riportato dallo sviluppatore del modello. Secondo alcune fonti, Claude sarebbe stato integrato nel software di analisi e sorveglianza dell’azienda americana Palantir, utilizzato da agenzie governative statunitensi e dal Pentagono, anche nell’ambito della campagna militare statunitense in corso contro l’Iran.   L’IA di Anthropic sarebbe stato utilizzato durante l’operazione per rapire il presidente venezuelano Nicolas Maduro all’inizio di gennaio. Tuttavia, L’utilizzo dell’Intelligenza Artificiale nell’attacco statunitense a una scuola elementare femminile in Iran, che ha causato la morte di quasi 160 persone, per lo più bambini, non ha violato le «linee rosse» di Anthropic, ha dichiarato l’amministratore delegato Dario Amodei.   Si tratta dell’azienda coinvolta dal Vaticano per il lancio dell’enciclica di Leone XIV Magnifica Humanitas.   Come riportato da Renovatio 21, negli ultimi mesi vi è stato un progressivo deterioramento dei rapporti tra Anthropic e il Pentagono, legato alla volontà del dipartimento della Guerra statunitense di utilizzare l’IA per il controllo di armi autonome senza le garanzie di sicurezza che l’azienda ha cercato di imporre.   L’Amodei, ha più volte espresso gravi preoccupazioni sui rischi della tecnologia che la sua azienda sta sviluppando e commercializzando. In un lungo saggio di quasi 20.000 parole pubblicatoquest’anno, ha avvertito che sistemi AI dotati di «potenza quasi inimmaginabile» sono «imminenti» e metteranno alla prova «la nostra identità come specie». Come riportato da Renovatio 21, l’anno passato l’Amodei ha dichiarato che l’AI potrebbe eliminare la metà di tutti i posti di lavoro impiegatizi di livello base entro i prossimi cinque anni. Settimane fa Mrinank Sharma, fino a poco tempo fa responsabile del Safeguards Research Team presso l’azienda sviluppatrice del chatbot Claude, ha pubblicato su X la sua lettera di dimissioni, in cui scrive che «il mondo è in pericolo. E non solo per via dell’Intelligenza Artificiale o delle armi biologiche, ma a causa di un insieme di crisi interconnesse che si stanno verificando proprio ora».   Come riportato da Renovatio 21, mese scorso, il gruppo di Intelligence Five Eyes, formato da Australia, Stati Uniti, Regno Unito, Canada e Nuova Zelanda, ha messo in guardia sul fatto che i modelli di IA avanzati potrebbero consentire agli hacker di paralizzare governi, aziende e sistemi critici in un futuro non troppo lontano.   Il Fondo Monetario Internazionale ha citato il recente rilascio controllato di Claude Mythos Preview da parte di Anthropic, descritto come «un modello di Intelligenza Artificiale avanzato con eccezionali capacità informatiche». Secondo il FMI, Mythos sarebbe in grado di individuare e sfruttare vulnerabilità in tutti i principali sistemi operativi e browser web, «anche se utilizzato da utenti non esperti».   Il capo della CIA Giovanni Ratcliffo ha dichiarato che gli strumenti di cyberoffensiva basati sull’Intelligenza Artificiale possono essere paragonati alle «armi nucleari digitali», avvertendo che potrebbero alimentare le rivalità tra le potenze globali.     SOSTIENI RENOVATIO 21

 

Gli strumenti di cyberoffensiva basati sull’intelligenza artificiale possono essere paragonati alle «armi nucleari digitali», ha affermato il direttore della CIA John Ratcliffe, avvertendo che potrebbero alimentare le rivalità tra le potenze globali.

 

Ratcliffe ha fatto il paragone martedì, durante un discorso al summit di Amazon Web Services a Washington, dove ha discusso degli sforzi dell’agenzia di spionaggio per accelerare l’acquisizione di prodotti del settore privato per uso interno.

 

«Gli strumenti di intelligenza artificiale non faranno altro che alzare la posta in gioco nella nostra competizione con tutti gli avversari dell’America», ha affermato Ratcliffe. Non sarebbe «fuori luogo paragonare le loro capacità ad armi nucleari digitali», ha aggiunto, citando discussioni all’interno dell’amministrazione del presidente statunitense Donald Trump.

 

Ratcliffe sostenne che le nazioni rivali «si adoperano per rubare e manipolare i progressi americani a proprio vantaggio e per i propri fini».

Le promesse di rapidi progressi nelle capacità dell’intelligenza artificiale, anche nell’ambito dell’hacking, sono state una costante della corsa globale alla tecnologia digitale. Il mese scorso, l’alleanza di intelligence Five Eyes, composta da Australia, Canada, Nuova Zelanda, Regno Unito e Stati Uniti, ha avvertito che i modelli di frontiera «dovrebbero superare le attuali aspettative del settore, trasformando radicalmente le capacità informatiche sia offensive che difensive», aggiungendo che «non si tratta di anni, ma di mesi».

 

Il senatore democratico statunitense Mark Warner ha ribadito l’avvertimento durante un’audizione della Commissione Intelligence, affermando che il capo della National Security Agency, Joshua Rudd, gli aveva riferito che il modello Mythos 5 di Anthropic «è riuscito a penetrare in quasi tutti i nostri sistemi classificati, non in settimane, ma in ore». Secondo il New York Times, questa descrizione «semplificava» i test controllati dell’agenzia di spionaggio, il cui scopo era identificare, tramite l’intelligenza artificiale, le falle nella sicurezza informatica, piuttosto che effettuare veri e propri attacchi informatici.

 

L’attuale boom del settore americano dell’intelligenza artificiale si basa sulla speranza di enormi profitti futuri, tali da giustificare investimenti per centinaia di miliardi di dollari. Alcuni analisti lo hanno definito una bolla finanziaria, avvertendo che potrebbe scoppiare a meno che i giganti tecnologici statunitensi non raggiungano una posizione dominante a livello globale.

 

Non tutte le previsioni sulle potenzialità dell’IA si sono avverate. Sebbene i modelli attuali siano altamente competitivi in termini di programmazione e analisi dei dati, ad esempio, la guida completamente autonoma è ancora indietro di anni rispetto alle tempistiche presentate in passato al pubblico dal CEO di Tesla, Elon Musk.

 

Un rischio importante per la spinta degli Stati Uniti verso l’intelligenza artificiale è rappresentato dalla concorrenza straniera, in grado di offrire prodotti comparabili in termini di potenza ma con un’efficienza di gran lunga superiore.

Nel gennaio 2025, l’app cinese DeepSeek ha scosso il settore quando i suoi modelli R1 e V3 si sono dimostrati paragonabili ai motori di ricerca digitali contemporanei utilizzati da ChatGPT e altri concorrenti statunitensi, ma a una frazione del costo. Funzionari statunitensi hanno affermato che l’azienda cinese aveva sostanzialmente imbrogliato, basando il suo prodotto su un lavoro americano.

 

Un momento simile si è verificato con il rilascio, a metà giugno, del nuovo modello di punta di Zhipu per l’assistenza alla programmazione, GLM-5.2, come riportato la scorsa settimana dal South China Morning Post. Matt Velloso, ex vicepresidente di Meta Platforms e Google DeepMind, lo ha descritto come «il primo modello open source che supera la prova per l’uso quotidiano».

 

La Cina sta rapidamente recuperando terreno rispetto agli Stati Uniti nella produzione di microchip avanzati, il che limita la capacità di Washington di utilizzare restrizioni commerciali per rallentare i suoi concorrenti. Nel frattempo, la relativa abbondanza di produzione energetica della Cina le conferisce un vantaggio nella corsa all’IA.

 

Come riportato da Renovatio 21, durante la prima amministrazione Trump, dove aveva l’incarico di direttore dell’Intelligence nazionale, il Ratcliffe rivelò La creazione di supersoldati da parte della Cina. In un editoriale sul Wall Street Journal scrisse che «l’Intelligence statunitense mostra che la Cina ha condotto test umani su membri dell’Esercito popolare di liberazione nella speranza di sviluppare soldati con capacità biologicamente potenziate».

 

«Non ci sono – osservava Ratcliffe – confini etici alla ricerca del potere da parte di Pechino». Lo stesso può dirsi ora per le armi AI?

SOSTIENI RENOVATIO 21

Immagine di pubblico dominio CC0 via Wikimedia