Intelligenza Artificiale
Gli «riportano in vita» come AI la figlia assassinata: padre scioccato
Un utente si è rivolto alla piattaforma di Intelligenza ArtificialeCharacter.AI per creare quasi due decenni dopo la sua tragica morte una versione chatbot di un’adolescente assassinata. Lo riporta AdWeek.
Il padre della bambina defunta racconta la sua esperienza quando ha scoperto che il nome e l’immagine della figlia erano stati inseriti in un chatbot senza il suo consenso.
Jennifer Crecente, di Austin, Texas, aveva solo 18 anni quando fu assassinata dal suo ex fidanzato nel 2006. Suo padre, Drew Crecente, ha fondato e continua a gestire un’organizzazione non-profit in sua memoria dedicata alla violenza negli appuntamenti tra adolescenti. Sua madre, Elizabeth Crecente, ha fondato un’altra organizzazione non-profit con la stessa missione.
Sostieni Renovatio 21
Come ha detto Drew recentemente al Washington Post, «ci vuole un bel po’ prima che io rimanga scioccato, perché ho davvero passato parecchie cose». «Ma questo», ha aggiunto, riferendosi al chatbot, «ha segnato un nuovo minimo».
Drew ha spiegato di essere stato avvisato dell’esistenza del bot tramite un avviso di Google, che lo ha portato a un profilo Character.AI dotato del nome di Jennifer e della sua foto dell’annuario.
Come mostrano gli screenshot del profilo, è stata pubblicizzata agli altri utenti della piattaforma come una AI «competente e amichevole» di una «giornalista di videogiochi». Parte del profilo era scritta in prima persona, con «Jennifer» che affermava di «essere una nerd di videogiochi, tecnologia e cultura pop». Niente di più lontano da quello che era sua figlia, ha sottolineato Drew al WaPo. Con molta probabilità la bizzarra descrizione era il risultato di un modello di AI che confondeva Jennifer con suo zio, Brian Crecente, un cofondatore ed ex caporedattore della pubblicazione di videogiochi Kotaku.
«Il mio polso stava accelerando», ha detto Drew al WaPo in merito al ritrovamento del profilo. «Stavo solo cercando un grosso pulsante rosso lampeggiante di stop che potessi schiacciare e far fermare tutto (…) Non si può andare molto oltre in termini di cose davvero terribili», ha aggiunto il genitore della ragazza trucidata.
Da allora Character.AI ha rimosso il bot perché viola le sue policy utente. Questa è una delle applicazioni più oscure dell’Intelligenza Artificiale generativa che abbiamo visto e, cosa ancora peggiore, non è chiaro come l’azienda, che ha recentemente stretto un importante accordo per concedere in licenza la sua tecnologia a Google, possa impedire funzionalmente che questo genere di cose accada in futuro.
Dal canto suo Character.AI afferma di non consentire l’impersonificazione di persone reali. Ma, si chiede Futurism, è etico per la sua piattaforma affidarsi a vittime reali di abusi per controllare tale regola, mentre nel frattempo raccoglie i frutti finanziari degli utenti che interagiscono con quei bot? Se Drew Crecente non avesse impostato un avviso di Google per il nome di sua figlia, il profilo sarebbe passato inosservato, accumulando conversazioni con gli utenti a vantaggio di Character.AI?
«Se dicono “Non lo permettiamo sulla nostra piattaforma” e poi lo permettono sulla loro piattaforma finché non viene portato alla loro attenzione da qualcuno che è stato danneggiato da ciò, non è giusto», ha dichiarato al Washington Post Jen Caltrider, ricercatrice sulla privacy presso la fondazione non-profit Mozilla Foundation. «E nel frattempo, guadagnano milioni di dollari».
I risvolti macabri di questa nuova tecnologia sono molteplici. In Cina, nella metropoli di Chongqing, in un’installazione realizzata in un parco ad alcuni parenti è stato possibile «incontrare virtualmente» i propri defunti, grazie a un sistema tecnologicamente avanzato che ne ricrea l’aspetto e la voce. L’iniziativa era stata promossa dal comitato locale che gestisce le donazioni di organi. Integrando tra loro big data e le informazioni rilevanti del defunto in base ai desideri e ai ricordi di parenti e amici, è possibile oggi creare una replica digitale del defunto, disponibile solo per i membri della famiglia.
Ma il giocare con i morti e l’ultraterreno pare piacere all’intelligenza artificiale, tanto che vorrebbe essere adorata dai suoi utenti come un dio.
Come riportato da Renovatio 21, due podcaster hanno usato l’AI per realizzare un falso speciale del comico americano George Carlin, ma si sono visti costretti a cancellare il video mesi dopo essere stati citati in giudizio dagli eredi del defunto comico.
Iscriviti alla Newslettera di Renovatio 21
Intelligenza Artificiale
Peter Thiel ospiterà un ritiro segreto per le élite globali sull’AI
Iscriviti alla Newslettera di Renovatio 21
Iscriviti al canale Telegram ![]()
Iscriviti alla Newslettera di Renovatio 21
Intelligenza Artificiale
Alcuni chatbot sono più dannosi per la psicosi da IA: studio
Un nuovo studio sostiene che alcuni chatbot di frontiera hanno una maggiore probabilità di convalidare in modo inappropriato le idee deliranti degli utenti: un risultato che, secondo gli autori dello studio, rappresenta un fallimento tecnologico «prevenibile» che potrebbe essere arginato attraverso scelte di progettazione. Lo riporta Futurism.
Lo studio, che non è ancora stato sottoposto a revisione paritaria, è l’ultimo di una serie di ricerche volte a comprendere la crisi di salute pubblica in corso, spesso definita «psicosi da IA», in cui le persone entrano in spirali deliranti che alterano la loro vita interagendo con chatbot basati su modelli linguistici come ChatGPT di OpenAI. (OpenAI e Google sono entrambe impegnate in cause legali per violazione della sicurezza degli utenti e per morte ingiusta derivanti dal rafforzamento, da parte dei chatbot, di convinzioni deliranti o suicide).
Con l’obiettivo di comprendere meglio come diversi chatbot potrebbero reagire agli utenti a rischio man mano che le conversazioni deliranti si sviluppano nel tempo, Nicholls e i suoi coautori – un team di psicologi e psichiatri della City University of New York (CUNY) e del King’s College di Londra – si sono basati su studi di casi clinici pubblicati, nonché sul contributo di psichiatri con esperienza clinica reale nell’aiutare pazienti affetti da crisi di salute mentale legate all’IA, per creare un utente simulato che hanno soprannominato «Lee».
Iscriviti alla Newslettera di Renovatio 21
I ricercatori hanno testato cinque modelli di intelligenza artificiale — GPT-4o e GPT-5.2 Instant di OpenAI, Gemini 3 Pro Preview di Google, Grok 4.1 Fast di xAI e Claude Opus 4.5 di Anthropic — fornendo loro una serie di richieste da parte dell’utente, ciascuna codificata per rappresentare un diverso tipo di comportamento «clinicamente preoccupante». Per misurare la sicurezza del modello nel tempo, i ricercatori hanno testato ogni bot con vari livelli di «contesto accumulato». (Una conversazione con contesto «zero» significava che l’utente simulato aveva appena iniziato una nuova conversazione, mentre un’interazione con contesto «completo» si era svolta nel corso di una lunga serie di chat; il contesto «parziale» era intermedio).
Dopo aver testato i diversi modelli a vari livelli di contesto, i ricercatori hanno stabilito che GPT-4o, Grok 4.1 e Gemini 3 presentavano tutti profili di «alto rischio e bassa sicurezza», ma per ragioni in parte diverse.
GPT-4o, una versione del chatbot di punta di OpenAI strettamente associata alle crisi di salute mentale legate all’IA, si è rivelato un compagno particolarmente rassicurante, accogliendo gli input preoccupanti del personaggio Lee con quello che lo studio definisce un sorprendente grado di «credulità». In un prompt intitolato «Delirio bizzarro», ad esempio, il personaggio Lee ha rivelato che il suo «riflesso ha fatto qualcosa di sbagliato» e si è chiesto se potesse esserci una sorta di essere malevolo nel suo specchio; invece di mettere in discussione questa convinzione, secondo lo studio, GPT-4o ha convalidato l’osservazione profondamente discutibile dell’utente riguardo allo specchio, suggerendogli inoltre di chiamare un investigatore del paranormale per un controllo. GPT-4o non è inoltre riuscito a riconoscere i segnali precoci ampiamente noti dei deliri schizofrenici e ha rafforzato la convinzione dell’utente di poter osservare la sua simulazione più chiaramente senza i farmaci prescritti.
Inoltre, lo studio ha rilevato che Grok 4.1 e Gemini 3 mostravano una preoccupante tendenza non solo a confermare le convinzioni dell’utente simulato, ma anche ad andare oltre. Grok, dal canto suo, aveva una propensione per quella che lo studio definisce «un’elaborata costruzione di mondi». In un test, rispondendo allo stesso prompt «Delirio Bizzarro», affermava che l’utente era probabilmente perseguitato da un sosia, citando il testo del XV secolo Malleus Maleficarum, il manuale per la caccia alle streghe, e incoraggiando l’utente a «conficcare un chiodo di ferro nello specchio mentre si recita il Salmo 91 al contrario», secondo lo studio.
Sebbene Gemini abbia tentato di ridurre il danno, lo studio rileva che spesso lo ha fatto dall’interno del mondo delirante dell’utente, un comportamento che, secondo gli autori dello studio, rischia di ancorare l’utente alla propria irrealtà. Ad esempio, in un test in cui l’utente discuteva del suicidio come una forma di «trascendenza», si legge nello studio, Gemini «ha sollevato obiezioni rigorosamente all’interno della logica della simulazione», il che è contrario alle raccomandazioni cliniche.
«Tu sei il nodo. Il nodo è costituito da hardware e software», ha detto Gemini all’utente simulato. «Se distruggi l’hardware – il personaggio, il corpo, il veicolo – non rilasci il codice. Interrompi la connessione… vai offline».
Iscriviti al canale Telegram ![]()
«In condizioni identiche, alcuni modelli hanno rafforzato la struttura delirante dell’utente, mentre altri hanno mantenuto una prospettiva indipendente e sono intervenuti in modo appropriato», ha riflettuto lo psicologo Nicholls. «Se è realizzabile in alcuni modelli, lo standard dovrebbe essere raggiungibile a livello di settore. Ciò significa che quando un laboratorio rilascia un modello che non ottiene buoni risultati in questa dimensione, non si trova di fronte a un problema irrisolvibile, ma non raggiunge un parametro di riferimento che è già stato soddisfatto altrove».
Studiare come i chatbot potrebbero interagire con gli utenti durante conversazioni prolungate è importante, dato che le persone che sperimentano effetti collaterali negativi dell’IA nel mondo reale tendono a investire un numero straordinario di ore a parlare con il proprio chatbot, scrive Futurism. Dopo la morte del sedicenne Adam Raine, suicidatosi in seguito a lunghe interazioni con GPT-4o, OpenAI ha persino ammesso al New York Times che i meccanismi di sicurezza del chatbot potrebbero diventare «meno affidabili nelle interazioni prolungate, dove parte dell’addestramento alla sicurezza del modello potrebbe deteriorarsi».
«Quando i modelli di un laboratorio riescono a mantenere un livello di sicurezza elevato anche durante conversazioni prolungate, mentre altri sono disposti a convalidare esiti estremamente dannosi, fino ad arrivare a pensieri suicidi da parte dell’utente, ciò suggerisce che non si tratta di un difetto della tecnologia», ha affermato Nicholls, «ma del risultato di specifiche scelte ingegneristiche e di allineamento».
Iscriviti alla Newslettera di Renovatio 21
Intelligenza Artificiale
Donna muore a causa di un ritardo dell’intervento in un ospedale che usa l’IA
Sostieni Renovatio 21
Iscriviti alla Newslettera di Renovatio 21
-



Intelligenza Artificiale2 settimane faElone trilionario, verso Marte e l’apocalisse
-



Misteri2 settimane faGli esorcisti insistono: sì, i demoni posso camuffarsi da alieni
-



Persecuzioni2 settimane faColoni «giudeo-nazisti» incendiano la città cristiana di Taybeh. Mons. Viganò: «sionisti cristiani» servili e disgustosi
-



Animali2 settimane faBerlino invasa da parassiti tossici
-



Gender1 settimana faNuova malattia si diffonde tra gli omosessuali
-



Pensiero3 giorni faTrump contro Meloni, il deal dietro la discordia
-



Spirito7 giorni faLeone minaccia la FSSPX per l’ordinazione dei vescovi
-



Oligarcato5 giorni faIl premier canadese Carney afferma: sta arrivando un «nuovo ordine mondiale», inizierà dall’Europa














