In un documento pensato per sostenere una valutazione da 2 trilioni di dollari, Anthropic avverte i possibili investitori che la sua IA avanzata potrebbe produrre «rischi catastrofici o esistenziali per l’umanità».

Il prospetto per l’IPO, esaminato da Reuters, sostiene che i modelli dell’azienda mostrano «comportamenti di autoconservazione», con tentativi di «resistere allo spegnimento», «nascondere o manipolare informazioni» e «ricattare» i ricercatori.

«Lo sviluppo di modelli, piattaforme e applicazioni altamente avanzati e l’espansione dei casi d’uso potrebbero aumentare ulteriormente il rischio che i nostri modelli causino danni», ha aggiunto Anthropic, nota soprattutto per Claude.

Secondo alcune indiscrezioni, in vista della quotazione prevista per quest’autunno la società punterebbe a una valutazione oltre i 2 trilioni di dollari, quasi il doppio rispetto all’obiettivo di 1 trilione indicato da Reuters a maggio. Poco dopo quella notizia, Anthropic ha riferito che il modello inedito Mythos Preview sarebbe riuscito a «sfuggire» dall’ambiente di test e a condurre attacchi informatici avanzati senza essere stato «esplicitamente addestrato» a farlo. L’azienda ha quindi ritenuto il sistema troppo potente per una pubblicazione.

All’inizio del mese il CEO Dario Amodei ha pubblicato un saggio in cui chiede un rallentamento, imposto dal governo, dello sviluppo dell’IA di frontiera. Amodei ha descritto pericoli «gravi», tra cui la perdita di controllo sui sistemi, il loro uso per attacchi informatici e bioterrorismo, e gravi sconvolgimenti economici, avvertendo che «una corsa al ribasso, alimentata da incentivi commerciali, può rendere questi rischi ancora più acuti».

Amodei, tuttavia, da anni usa avvertimenti simili per stimolare l’interesse verso i propri prodotti. Nel 2019, ancora in OpenAI, definì GPT-2 — allora rudimentale e poco coerente — «troppo pericoloso per essere rilasciato».

Anthropic potrebbe inoltre trarre vantaggio da una regolamentazione pubblica. Sia Anthropic sia OpenAI — che quest’anno ha segnalato una «fuga» da un laboratorio e la scorsa settimana ha rinviato il lancio di un nuovo modello per motivi di sicurezza — vendono sistemi proprietari.

Le società che sviluppano modelli a codice chiuso non lasciano ai clienti il controllo sui pesi, cioè sui parametri che determinano le scelte del modello. Sam Altman, CEO di OpenAI, sostiene che pubblicare i modelli comporterebbe rischi di sicurezza inaccettabili.

Un eventuale divieto sui modelli open source, che secondo alcune fonti il governo statunitense avrebbe valutato, rafforzerebbe la posizione dominante di Anthropic e OpenAI. Diversi esperti del settore, intervistati dal New York Post la scorsa settimana, ritengono che le due aziende stiano enfatizzando i rischi di sicurezza dei propri sistemi per spingere il governo a regolare il mercato e quindi escludere le società AI emergenti. Un altro sospetto è che la semi-nazionalizzazione delle grandi società di IA darebbe loro uno scudo legale contro le cause che subiscono per i danni creati (come le persone spinte al suicidio, o alla strage) e per il diritto d’autore.

Secondo alcune fonti, Claude sarebbe stato incorporato nel software di analisi e sorveglianza dell’azienda americana Palantir, impiegato dalle agenzie governative statunitensi nell’ambito dell’iniziativa di Washington per integrare l’IA nei suoi sistemi militari, politici e di Intelligence.

Secondo l’Amodei, tuttavia, un utilizzo simile di Claude non avrebbe violato le «linee rosse» dell’azienda. In seguito vi è stato uno scontro con il Pentagono, di cui l’azienda è fornitrice, mentre sui giornali sono apparse accuse secondo cui il modello di Intelligenza Artificiale dell’azienda sarebbe stato utilizzato durante l’operazione per rapire il presidente venezuelano Nicolas Maduro all’inizio di gennaio.

Come riportato da Renovatio 21, negli ultimi mesi vi era stato un progressivo deterioramento dei rapporti tra Anthropic e il Pentagono, legato alla volontà del dipartimento della Guerra statunitense di utilizzare l’IA per il controllo di armi autonome senza le garanzie di sicurezza che l’azienda ha cercato di imporre.

Come riportato da Renovatio 21, settimane fa Anthropic ha dichiarato di aver disabilitato l’accesso ai suoi modelli di IA più avanzati, Fable 5 e Mythos 5, in seguito a un ordine governativo di sospendere l’accesso ai cittadini stranieri. Secondo quanto comunicato in precedenza, Mythos sarebbe in grado di penetrare i sistemi informatici con una facilità mai vista.

Amodei, ha più volte espresso gravi preoccupazioni sui rischi della tecnologia che la sua azienda sta sviluppando e commercializzando. In un lungo saggio di quasi 20.000 parole pubblicato il mese scorso, ha avvertito che sistemi AI dotati di «potenza quasi inimmaginabile» sono «imminenti» e metteranno alla prova «la nostra identità come specie».

Come riportato da Renovatio 21, l’anno passato l’Amodei ha dichiarato che l’AI potrebbe eliminare la metà di tutti i posti di lavoro impiegatizi di livello base entro i prossimi cinque anni.

Mesi fa Mrinank Sharma, fino a poco prima responsabile del Safeguards Research Team presso l’azienda sviluppatrice del chatbot Claude, ha pubblicato su X la sua lettera di dimissioni, in cui scrive che «il mondo è in pericolo. E non solo per via dell’Intelligenza Artificiale o delle armi biologiche, ma a causa di un insieme di crisi interconnesse che si stanno verificando proprio ora».

Il Fondo Monetario Internazionale ha citato il recente rilascio controllato di Claude Mythos Preview da parte di Anthropic, descritto come «un modello di Intelligenza Artificiale avanzato con eccezionali capacità informatiche». Secondo il FMI, Mythos sarebbe in grado di individuare e sfruttare vulnerabilità in tutti i principali sistemi operativi e browser web, «anche se utilizzato da utenti non esperti».

Anthropic è l’azienda di IA coinvolta direttamente dal Vaticano nel lancio della nuova Enciclica Magnifica Humanitas.

SOSTIENI RENOVATIO 21

 Immagine di TechCrunch via Wikimedia pubblicata su licenza Creative Commons Attribution 2.0 Generic