“il-colosseo-e-un-centro-commerciale”,-dice-la-nuova-intelligenza-artificiale-di-meta

“Il Colosseo è un centro commerciale, a Roma. Fu costruito tra gli anni ’60 e ’70 nel quartiere Prenestino Centocelle, nei pressi dell’Eur”. È quasi inutile far notare quanti errori, storici ma anche geografici, ci siano in queste due frasi dedicate a una delle sette meraviglie del mondo moderno. Potrebbe essere consolante dire che sono state generate da un’intelligenza artificiale. Peccato si tratti di un’IA addestrata sulla “conoscenza dell’umanità” per “consultare e rielaborare quello che sappiamo sull’universo”.

Cos’è Galactica e come funziona

Il progetto si chiama Galactica ed è gestito da Papers With Code, in collaborazione con la divisione AI di Meta. È quello che si definisce un Large Language Model, ovvero un sistema addestrato su una mole molto alta di testi e in grado di generarne di nuovi. La differenza è che, questa volta, il modello è basato su articoli scientifici, libri e, più in generale, fonti riconosciute e verificate. Sì perché l’obiettivo di Galactica è ambizioso: creare e distribuire conoscenza, informazioni con rilevanza scientifica. La demo è stata disponibile per tutti per poco più di un giorno e mezzo, prima di essere sostituita da una pagina che invita a leggere il paper di riferimento. 

Thank you everyone for trying the Galactica model demo. We appreciate the feedback we have received so far from the community, and have paused the demo for now. Our models are available for researchers who want to learn more about the work and reproduce results in the paper.

— Papers with Code (@paperswithcode) November 17, 2022

Il funzionamento è piuttosto semplice: una barra di ricerca molto chiara, stile Google, dalla quale chiedere al sistema di generare un simil-articolo scientifico o una pagina di Wikipedia, sull’argomento che l’utente preferisce. A quel punto, il sistema restituisce una prima porzione di quel contenuto, offrendo la possibilità di proseguire la generazione.

Il problema è che, almeno in questa prima fase, Galactica non sta propriamente fornendo informazioni verificate (e chissà che non sia questa la ragione della messa in pausa della demo). A parte l’esempio del Colosseo, abbiamo provato con la generazione di una pagina dedicata alla Torre di Pisa. Bene, secondo il sistema, il noto monumento toscano sarebbe stato progettato da Filippo Brunelleschi e completato nel 1476. Peccato che il Brunelleschi non c’entri niente con la Torre di Pisa, terminata circa 200 anni prima, nel 1275. 

Altri esperimenti che abbiamo condotto, su Galileo Galilei o sul 5G, hanno avuto esiti migliori: la sensazione, tuttavia, è che in ogni generazione possa essere nascosto un qualche tipo di errore o inesattezza. Gli esempi testi di dubbia validità scientifica creati da Galactica sono diventati piuttosto diffusi sui social network. Su Twitter molti utenti hanno pubblicato le loro generazioni, tra cui un’accurata descrizione di una particolare specie di orsi galattici.

Cosa non funziona

Il fatto che Galactica, così come le altre IA basate sul testo, potesse inventare fatti scientifici non è propriamente una novità. I ricercatori di Meta e Papers With Code inseriscono questa eventualità tra le limitazioni del progetto. In particolare, scrivono: “I modelli linguistici possono avere allucinazioni. Non ci sono garanzie per un output veritiero o affidabile dai modelli linguistici, anche quelli di grandi dimensioni addestrati su dati di alta qualità come Galactica. Non seguire mai i consigli di un modello linguistico senza verifica”.

Ecco, ma allora il punto è: ha senso usare questa tecnologia per generare conoscenza? La risposta è no, secondo la ricercatrice dell’Università di Washington Emily M. Bender, che sul tema ha pubblicato un importante articolo scientifico. “L’unica conoscenza – ha scritto su Twitter – che un modello linguistico ha riguarda la composizione delle parole, il loro ordine”. E, in effetti, sembra essere questo il problema. Le IA per generare testo, come GPT-3, prevedono le probabilità che un segno linguistico segua un altro segno linguistico, ma non sono particolarmente efficaci nell’interpretare la validità delle informazioni. Tutto ciò che conta, in altre parole, è la forma, non il contenuto.

Meta AI e il precedente Blenderbot

Non è la prima volta che la divisione AI di Meta finisce al centro di una discussione sull’efficacia delle proprie soluzioni di intelligenza artificiale. Lo scorso agosto, l’azienda di Mark Zuckerberg aveva lanciato Blenderbot, una chatbot basata su IA per conversazioni con gli utenti del web. Erano bastate poche ore prima che il sistema iniziasse a esprimere commenti razzisti e opinioni poco lusinghiere nei confronti del fondatore di Facebook, accusato, tra le altre cose, di indossare sempre la stessa maglietta.