L’IA ha «allucinato» la presenza di componenti per armi nucleari in navi cinesi dirette in Iran: ad un passo dalla guerra totale?

Questa primavera, nel pieno della guerra con l’Iran, è circolato all’interno delle forze armate statunitensi un rapporto d’Intelligence secondo cui una nave cinese nel Medio Oriente stava trasportando componenti per un programma di armi nucleari. Lo riporta la CNN, che cita fonti.

Il rapporto era stato messo insieme da un analista di un comando delle forze speciali, e solo poco prima dell’operazione pianificata i funzionari hanno approfondito il rapporto scoprendo che era stato generato con l’aiuto dell’intelligenza artificiale — e che un chatbot usato dall’analista aveva identificato in modo errato il materiale trasportato dalla nave.

Il Pentagono si è mosso con piani per intercettare la nave, secondo quattro fonti a conoscenza dell’episodio. Secondo due di queste fonti, membri armati delle forze statunitensi si stavano preparando a salire a bordo della nave, e aerei militari erano già in volo.

Una delle fonti ha definito il rapporto «completamente falso», ma ha anche detto che «ha quasi fatto scoppiare una guerra»: un’operazione statunitense contro una nave cinese avrebbe potuto far precipitare la situazione in un conflitto armato tra le due nazioni.

Secondo alcune fonti citate da testate che hanno ripreso lo scoop, l’informazione iniziale sul carico della nave proveniva dallo US Special Operations Command Pacific, con base alle Hawaii; l’analista avrebbe inserito questi dati in un chatbot per l’analisi, senza che sia chiaro se si trattasse di un sistema commerciale o di uno strumento sviluppato per il governo USA. Il sistema avrebbe combinato dati open-source con informazioni di intelligence classificate, arrivando a una conclusione errata.

L’episodio si inserisce in uno sforzo più vasto, in corso nelle forze armate e nella comunità d’intelligence statunitensi, di integrare l’IA in quasi ogni aspetto del lavoro: dall’analisi degli enormi volumi di dati raccolti alla selezione degli obiettivi per gli attacchi, fino ad applicazioni più ordinarie come la gestione di budget, logistica e catene di approvvigionamento.

Un ex funzionario statunitense citato in alcune riprese della notizia ha osservato che l’IA «permette di arrivare più velocemente a un’idea sbagliata» — riassumendo bene il timore sollevato dall’episodio: l’accelerazione decisionale offerta dall’IA può amplificare errori con conseguenze potenzialmente gravissime.

Nel gergo dell’IA, questo tipo di situazioni vengono definite «allucinazioni». Un’allucinazione nell’intelligenza artificiale è una risposta errata, inventata o fuorviante che un modello presenta con assoluta sicurezza come se fosse un fatto reale.

Una macchina allucinata, quindi, può far scattare la Terza Guerra Mondiale. La domanda è tuttavia un’altra: come sappiamo che si tratti di un errore della macchina, e non di una precisa volontà di spingere il suo creatore, l’umanità, ad una guerra ultra-distruttiva?

SOSTIENI RENOVATIO 21

Immagine di 日本防衛省・統合幕僚監部 via Wikimedia pubblicata su licenza Creative Commons Attribution License 4.0 Internationa