Ricerca trova un numero impressionante di documenti scientifici generati dall’IA

Alcuni scienziati stimano che potrebbero esserci centinaia di migliaia di documenti accademici scritti con l’assistenza dell’IA. Lo riporta il New York Times.

In un nuovo studio pubblicato sulla rivista Science Advances, i ricercatori dell’Università tedesca di Tubinga hanno identificato circa 454 parole che i modelli linguistici di grandi dimensioni (LLM) usano frequentemente – termini come «garnered» («raccolto»), «encompaling» («comprensivo») e «burgeoning» («fiorente») – e hanno scoperto che da circa il 13,5 al 40 per cento degli abstract di articoli biomedici sono stati scritti interamente o in parte con l’assistenza dell’IA.

Con circa 1,5 milioni di articoli indicizzati ogni anno sul database della rivista accademica PubMed, ciò significa che almeno 200.000 di questi documenti avrebbero potuto essere scritti con l’aiuto di LLM.

Mentre alcuni giornalisti si preoccupano di nascondere l’uso di intelligenza artificiale, mentre altri non sembrano curarsi di ciò. In un esempio pubblicato su X dallo scienziato informatico dell’Arizona State University Subbarao Kambhampati, gli «scrittori» di una rivista di radiologia non troppo blasonata non fanno segreto di ammettere che gli articoli siano stati scritti da un chatbot.

«Sono molto dispiaciuto», si legge nel testo, «ma non ho accesso a informazioni in tempo reale o dati specifici per il paziente poiché sono un modello di linguaggio AI».

Non tutti gli errori sono così grossolani e sfacciati, perché si spera che uno abbia un po’ di dimestichezza con questi software di scrittura avanzata sapendo rigenerare un testo quando succede in quella maniera.

Lo stesso blog ha anche segnalato una debacle riguardo un documento che si basava su un articolo con riferimenti completamente inventati, che è stato inizialmente ritirato da un server di pre-stampa, per poi riapparire online su un database accademico diverso con le stesse fonti.

Gli accademici cercano di nascondere il loro uso di IA. Come Kambhampati ha detto al NYT, questi «scrittori» hanno persino iniziato a cambiare il modo in cui scrivono in modo che il loro lavoro non venga confuso con l’IA, rimuovendo termini troppo spesso usati dal chatbot.

Nel documento Science Advances, i ricercatori di Tubinga osservano che tutto questo uso di IA nelle riviste accademiche potrebbe avere un «impatto senza precedenti sulla scrittura scientifica nella ricerca biomedica, superando l’effetto dei principali eventi mondiali come la pandemia COVID».

Anche nella stampa mainstreamma, compresa quella italiana, sta divenendo facile scoprire quando un articolo è fatto con l’IA: divisione in paragrafi con titoli non sempre ficcanti, la parola «Inoltre» seguita dalla virgola a capo di un periodo finale, in più predicozzo sull’ambiente e l’equità qualora la fonte sia così sciatta da usare ChatGPT e non qualche altro modello meno compromesso dal politicamente corretto.

Inoltre, segnaliamo al lettore di Renovatio 21 altri termini specifici della generazione testuale da IA: parole come «contesto», «pattern», «ottimizzare», «algoritmo», «dati», «modello», «predizione», «analisi», «coerenza» e «generazione» appaiono frequentemente, soprattutto in contenuti tecnici o descrittivi, riflettendo il linguaggio tipico di documenti scientifici o dataset su cui i modelli sono addestrati.

Inoltre, frasi come «in altre parole», «in sintesi», «è importante notare» o «secondo le informazioni disponibili» sono comuni, poiché l’AI tende a strutturare risposte in modo chiaro e didattico. Un altro indizio dell’uso di intelligenza non umana è la presenza di termini generici o vaghi, come «significativo», «rilevante» o «complesso», quando l’AI manca di dettagli specifici.

I testi AI possono anche mostrare ripetizioni di connettivi logici («pertanto», «inoltre», «tuttavia») o un linguaggio formale e uniforme, privo di inflessioni personali o colloquialismi. Ad esempio, un’AI potrebbe usare «individui» invece di “persone” o preferire costruzioni come «si può osservare che» rispetto a espressioni più naturali.

Un segnale meno evidente è la tendenza a produrre elenchi o strutture simmetriche, come risposte organizzate in punti numerati o paragrafi bilanciati. Ciò deriva dall’obiettivo dell’AI di massimizzare la chiarezza.

Inoltre, l’uso di termini inglesi o tecnicismi («prompt», «dataset», «machine learning») può emergere in testi non tradotti perfettamente. Per inferire che un testo è generato da AI, si possono cercare anche errori sottili, come l’uso incoerente di termini specifici o una mancanza di contesto culturale profondo. Ad esempio, un’AI potrebbe usare «innovativo» in modo generico senza spiegare perché qualcosa lo sia.

In sintesi, parole come «contesto», «rilevante», «algoritmo», «in sintesi» e connettivi logici frequenti e un tono formale o ripetitivo sono indizi di un testo AI. Tuttavia, con l’evoluzione dei modelli, questi segnali diverranno meno evidenti, richiedendo un’analisi più attenta.

Non solo il mondo scientifico e letterario approfitta bassamente di questa nuova tecnologia, ma anche la chiesa cattolica pare faccia un uso alquanto discutibile della cosa. Sul modello di ChatGPT, sono emersi diversi robot «cattolici». Il loro obiettivo è fornire risposte immediate alle domande riguardanti la dottrina della Chiesa, non si sa con quale affidabilità nelle risposte algoritmi. A chi si domanda se in futuro saremmo costretti a confessarci al cospetto di un computer, un’installazione «artistica» in una chiesa elvetica ha messo in confessionale un display AI atto a tentare di simulare Gesù Cristo confessore.

SOSTIENI RENOVATIO 21