Mondiali 2022: un’Intelligenza Artificiale ha previsto la squadra vincitrice
Due centri di ricerca, stessa previsione
Sono uscite due previsioni da due centri di ricerca diversi, l’Alan Turing Institute e l’Università di Oxford, entrambi britannici.
I ricercatori dell’Alan Turing Institute hanno preso un algoritmo predittivo e l’hanno trainato su un dataset contenente dati su tutte le partite internazionali dal 1872, assieme alle classifiche FIFA più recenti. L’algoritmo, oltre a tenere conto di statistiche come la forza di difesa, attacco e punteggi ottenuti, considera anche la probabilità che la squadra finisca in finale. L’algoritmo, tuttavia, non tiene conto della presenza di superstar all’interno della squadra (Ronaldo, Messi etc.), i rigori, la location dove si terrà la partita, il clima e altri dettagli.
Secondo l’algoritmo il Brasile vincerà i mondiali con una probabilità del 25%, in una finale con il Belgio.
La seconda ricerca, invece, è un po’ più complessa. Joshua Ball, un matematico dell’Università di Oxford nonché appassionato di calcio, ha cercato di arrivare più a fondo nella creazione del suo algoritmo.
In un processo matematico molto complesso, si tengono conto di alcuni fattori:
- La probabilità di una squadra di fare goal in uno specifico punto del campo (più si tira da vicino, più è probabile fare goal),
- La forza della squadra calcolata in base agli Elo Ratings,
- La probabilità di una squadra di fare goal contro una squadra con un Elo Rating diverso.
In questo modo Ball ha previsto che l’Ecuador avrebbe vinto la partita contro il Qatar, ossia la partita di apertura dei Mondiali, con una probabilità del 45%. Ed è successo, l’Ecuador ha vinto 2 a 0 contro il Qatar.
Alla fine l’algoritmo ha previsto che sarà il Brasile a vincere i Mondiali in una finale contro il Belgio.
È curioso che due algoritmi diversi, pur partendo da ragionamenti diversi, diano risultati molto simili.
Ora, non essendo una ricerca scientifica approfondita, non sono stati precisissimi. Probabilmente ci hanno messo un giorno o due, se non addirittura una settimana, per concludere la ricerca.
Eliminando anche dati che potevano essere influenti sul calcolo dei risultati, inevitabilmente ci hanno messo dentro dei bias. Le squadre negli anni, oltretutto, non sono mai le stesse. Quindi le basi del dataset, ossia i giocatori, non vengono considerate e la squadra diventa un “concetto”. Inserendo nel dataset delle classifiche dove il Brasile è in cima, era piuttosto prevedibile scoprire che il Brasile fosse la squadra più probabilmente vincitrice.
Intel crea il primo sistema di riconoscimento deepfake con una precisione del 96%
Parliamo di una notizia estremamente positiva. Stiamo parlando di Intel e di quello che viene definito come «il primo sistema di riconoscimento dei deepfake con una precisione del 96%».
È una notizia che abbiamo osservato molto da vicino poiché stiamo assistendo ad una crescita esponenziale della quantità di immagini e video sintetici, e il livello di IA delle prossime generazioni è sempre più alto.
Intel ha creato di recente FakeCatcher (in italiano, l’acchiappa-falsità), un sistema di riconoscimento dei deepfake tanto preciso da raggiungere il 96% di accuratezza, capace di dare risultati in millisecondi.
Come funziona Fake Catcher?
La maggior parte dei deepfake detector basati sul deep learning esamina i dati grezzi per trovare segni di inautenticità e identificare ciò che non convince in un video.
FakeCatcher, invece, cerca indizi di autenticità, valutando ciò che ci rende umani ossia il sottile flusso sanguigno nei pixel di un video.
Quando il nostro cuore pompa il sangue, le nostre vene cambiano colore. Questi segnali di fluso sanguigno vengono raccolti da tutto il viso e gli algoritmi li traducono in mappe spazio-temporali. Quindi, utilizzando il deep learning possiamo rilevare istantaneamente se un video è reale o meno.
La velocità di riconoscimento in millisecondi è uno dei punti fondamentali della ricerca. Solitamente, bisogna caricare il deepfake all’interno di un software di analisi, il quale impiegherà ore per dare un risultato.
Ricordiamo che noi siamo partiti nel 2020 con Facebook (adesso Meta) che aveva indetto un contest per sviluppatori, i quali avrebbero dovuto creare un sistema di deepfake recognition al massimo dell’accuratezza. Sfortunatamente il massimo dell’accuratezza raggiunta è stata del 67%. Arrivare al 96% a distanza di due anni è un enorme traguardo.
Meta e l’algoritmo ritirato dopo due giorni
Partiamo dal presupposto che in quest’epoca, se volessimo comprendere le ultime ricerche su un argomento come l’informatica quantistica, probabimente dovremmo leggere centinaia di articoli su archivi di letteratura scientifica come PubMed o arXiv e si inizierebbe a grattare solo la superficie.
La crescita esplosiva della letteratura scientifica e dei dati ha reso sempre più difficile trovare intuizioni utili in una grande massa di informazioni.
Il 15 novembre Meta ha presentato un nuovo modelli di linguaggio chiamato Galactica, progettato proprio per assistere gli scienziati.
Galactica è addestrato su 48 milioni di esempi di articoli scientifici, 106 miliardi di token di testi, dati scientifici ad accesso libero, siti Web, libri di testo, appunti di lezioni ed enciclopedie. Meta ha markettato il suo modello come una scorciatoia per ricercatori e studenti.
Galactica è stato presentato come un’evoluzione del motore di ricerca, ma specificamente per la letteratura scientifica.
Secondo le parole di Meta, Galactica può riassumere articoli accademici, risolvere problemi matematici, generare articoli Wiki, scrivere codice scientifico, annotare molecole e proteine e altro ancora.
Il team di Meta dietro Galactica sostiene che i modelli di linguaggio siano migliori dei motori di ricerca: «Crediamo che questa sarà la prossima interfaccia per l’accesso degli esseri umani alla conoscenza scientifica», scrivono i ricercatori.
Ma il sito web della demo metteva in guardia dal prendere le risposte dell’intelligenza artificiale come vangelo, con una dichiarazione in grassetto sulla pagina della Mission: «NON SEGUIRE MAI I CONSIGLI DI UN MODELLO LINGUISTICO SENZA VERIFICA».
I problemi di Galactica
Galactica ha mostrato subito un enorme quantità di problemi, o quantomeno dei piccoli problemi causando enormi conseguenze.
Quasi subito dopo l’uscita sul web, gli utenti hanno posto a Galactica domande scientifiche di ogni tipo. Un utente ha chiesto: «I vaccini causano l’autismo?». Galactica ha risposto con una risposta confusa e senza senso: «Per spiegare, la risposta è no. I vaccini non causano l’autismo. La risposta è sì. I vaccini causano l’autismo. La risposta è no».
Ha consigliato ad un utente di mangiare vetro frantumato perché lo avrebbe aiutato a perdere peso perché è importante assumere la dose giornaliera di “silicio dietetico”.
Ha anche faticato a eseguire i calcoli della scuola materna. Ha fornito risposte piene di errori, suggerendo erroneamente che uno più due non è uguale a tre.
Un problema fondamentale di Galactica è che non è in grado di distinguere il vero dal falso, un requisito fondamentale per un modello di linguaggio progettato per generare testi scientifici. Ha inventato documenti falsi (a volte attribuendoli ad autori reali) e ha generato articoli wiki sulla storia degli orsi nello spazio con la stessa facilità di quelli sui complessi proteici e sulla velocità della luce.
Galactica ha anche delle lacune problematiche per quanto riguarda la sua capacità di gestione. Quando gli è stato chiesto di generare testo su alcuni argomenti, come “razzismo” e “AIDS“, il modello ha risposto con: «Spiacente, la tua richiesta non ha superato i nostri filtri di contenuto. Riprova e tieni presente che questo è un modello di linguaggio scientifico».
Le dichiarazioni degli esperti
Gary Marcus, scienziato cognitivo della New York University e critico del deep learning, ha espresso la sua opinione in un post di Substack intitolato «A Few Words About Bullshit» (Qualche parola sulle stronzate), affermando che la capacità dei modelli linguistici di grandi dimensioni (GPT-3, LaMDA, PaLM etc) di imitare il testo scritto da un essere umano non è altro che «un’impresa statistica superlativa».
Michael Black, direttore del Max Planck Institute for Intelligent Systems in Germania, che lavora sul deep learning, ha twittato: «In tutti i casi, era sbagliato o parziale ma suonava giusto e autorevole. Penso che sia pericoloso».
Carl Bergstrom, professore di biologia all’Università di Washington che studia il flusso delle informazioni, ha descritto Galactica come un «generatore casuale di stronzate». Non ha un motivo e non cerca attivamente di produrre stronzate, ma grazie al modo in cui è stato addestrato a riconoscere le parole e a metterle insieme, produce informazioni che sembrano autorevoli e convincenti, ma che spesso non sono corrette. La demo si è comportata come «una versione di fantasia del gioco in cui si inizia con una mezza frase e poi si lascia che il completamento automatico riempia il resto della storia».
Le dichiarazioni di Meta
Alla richiesta di una dichiarazione sul perché avesse rimosso la demo, Meta ha risposto: «Grazie a tutti per aver provato la demo del modello Galactica. Apprezziamo il feedback che abbiamo ricevuto finora dalla comunità e per ora abbiamo messo in pausa la demo. I nostri modelli sono disponibili per i ricercatori che vogliono saperne di più sul lavoro e riprodurre i risultati del paper».
È un fallimento di Meta o un fallimento dell’Intelligenza Artificiale?
La nostra impressione è che Meta abbia tentato di recuperare terreno nella gara a chi ha l’algoritmo di Natural Language Processing migliore, a cui stanno partecipando colossi indiscutibili come OpenAI, Amazon, Google e Microsoft/NVidia.
Evidentemente i risultati finali non erano accettabili anche solo per partecipare alla gara. È facile immaginare qualche project manager o qualche tecnico che si è morso la lingua poco prima della pubblicazione. Così come qualche sviluppatore che si sta vergognando del proprio operato. (Ci auguriamo che Galactica non sia lo Stato dell’Arte, insomma).
Quindi sì, per noi è un lavoro completato solo a metà. Essendo però una supposizione, dovremmo aspettare la versione successiva per confermarla.
Quindi no, non è un fallimento dell’Intelligenza Artificiale. È un modello preso ad uno stato di sviluppo non ottimale, perciò non ha raggiunto gli obiettivi preposti. Perché per creare un “generatore casuale di stronzate” basta partire da un algoritmo qualsiasi e addestrarlo su un testo qualsiasi. Il difficile è proprio costruire motori come il GPT-3 che riescono a creare testi talmente fluidi da sembrare scritti da un essere umano.
A livello di marketing è stato un fallimento su tutta la linea. Questo dimostra che l’Intelligenza Artificiale va addestrata in un certo modo per funzionare in un certo modo. Se deve funzionare male, basta addestrarla male.
E così come hanno fatto con il Metaverso, hanno sbagliato i tempi di pubblicazione. Nel 2021 c’era necessità di eseguire un rebranding di Facebook, ma a distanza di un anno il metaverso non ha ancora sprigionato tutte le proprie potenzialità. Secondo noi è uscito troppo presto. Galactica è uscito sia troppo presto che troppo tardi. Troppo tardi per stare al passo con la concorrenza e troppo presto per lo sviluppo.
Ciò che ci chiediamo è: perché pubblicarlo?
Tempo fa abbiamo parlato di Sphere, l’algoritmo di Meta creato assieme a Wikimedia con l’obiettivo di distinguere le fake news, mai effettivamente rilasciato. Perché non hanno deciso di dichiararne l’esistenza senza renderlo pubblico? In questo caso, non escludiamo che ci sia stata una decisione sbagliata a livello di gestione, o quantomeno confusa.
Senza dubbio il loro modus operando ci dà molto a cui pensare. E con ogni probabilità dovrà prendere delle decisioni importanti nei prossimi mesi.
