In questo momento la situazione sta crollando agli occhi dell’industria tecnologica, poiché i modelli di Intelligenza Artificiale generativa si stanno scontrando con un muro tecnologico.

Come alcuni esperti avevano previsto da tempo, i miglioramenti che un tempo si potevano ottenere semplicemente ampliando i modelli linguistici di grandi dimensioni (in altre parole, aggiungendo più parametri, dati di addestramento e potenza di elaborazione) ora stanno rallentando, e questo sempre che non producano miglioramenti significativi.

Gary Marcus, scienziato cognitivo e scettico dell’intelligenza artificiale, avverte che quando tutti si renderanno conto di queste carenze, l’intero settore potrebbe crollare.

«L’economia sarà probabilmente cupa», ha scritto Marcus sul suo Substack. «Valutazione alle stelle di aziende come OpenAI e Microsoft si basano in larga parte sul concetto che gli LLM, con un’espansione continua, diventeranno Intelligenza Artificiale Generale».

«Come ho sempre avvertito», ha aggiunto, «questa è solo una fantasia».

Il problema è sorto quando The Information ha riferito che, dietro le quinte, i ricercatori di OpenAI hanno scoperto che il suo prossimo modello di punta, nome in codice Orion, ha dimostrato miglioramenti notevolmente inferiori rispetto al suo predecessore GPT-4.

In ambiti come la codifica, uno dei principali ambiti di interesse per questi LLM, potrebbe addirittura non esserci alcun miglioramento.

Ilya Sutskever, fondatore della startup Safe Superintelligence e co-fondatore ed ex direttore scientifico di OpenAI, ha detto a Reuters che i miglioramenti derivanti dall’aumento di scala dei modelli di Intelligenza Artificiale hanno raggiunto un plateau.

In breve, screive Futurism, il dogma secondo cui «più grande è, meglio è» quando si tratta di modelli di Intelligenza Artificiale, potrebbe non essere più vero.

Secondo Reuters, le sessioni di training per modelli di grandi dimensioni possono costare decine di milioni di dollari, richiedere l’uso di centinaia di chip AI e ci possono volere mesi per essere completate. Le aziende tecnologiche hanno anche esaurito i dati liberamente disponibili per addestrare i loro modelli, avendo praticamente raschiato l’intera superficie del web.

«Gli LLM, così come sono, diventeranno una commodity; le guerre dei prezzi manterranno bassi i ricavi. Dato il costo dei chip, i profitti saranno sfuggenti», prevede il Marcus. «Quando tutti se ne renderanno conto, la bolla finanziaria potrebbe scoppiare rapidamente».

Come notano gli articoli apparsi su di The Information e Reuters, i ricercatori di OpenAI stanno sviluppando modi per superare il problema di scalabilità, come addestrare i modelli a «pensare» o «ragionare» in modo simile agli umani, capacità che sono state anticipate nel modello o1.

Uno dei modi in cui lo fanno è attraverso una tecnica chiamata «test-time compute», in cui un modello di intelligenza artificiale esplora molteplici possibilità per problemi complessi e poi sceglie quella più promettente, invece di trarre conclusioni affrettate.

Se un simile lavoro aprirà la strada a un nuovo modo di perseguire miglioramenti significativi dell’IA, dovrà essere confermato sul lungo periodo. Allo stato attuale, l’industria dell’IA continua ad avere un problema di redditività e, poiché i mercati economici sono raramente pazienti, potrebbe esserci un altro inverno dell’IA in arrivo se questi miglioramenti non saranno apportati rapidamente.

SOSTIENI RENOVATIO 21