Un nuovo modello più performante di GPT-3… ma 10 volte più piccolo
Torniamo con un articolo da “effetto wow”, in cui raccontiamo le novità avvenute nel corso della settimana che ci hanno colpito di più o che riteniamo possano rappresentare un ulteriore punto di svolta nell’evoluzione dell’Intelligenza Artificiale.
Partiremo con un algoritmo che sembra aver superato ancora una volta il GPT-3, non in termini di grandezza, ma di performance.
Parleremo di un nuovo modello sviluppato da Meta AI con cui ci si sta avvicinando forse all’Intelligenza Artificiale Generale.
E infine, parleremo di un’Intelligenza Artificiale che ridona le gambe a chi non può più camminare.
Cominciamo subito.
***
1. Un nuovo modello più performante di GPT-3… ma 10 volte più piccolo
Questo modello si chiama Macaw, acronimo di Multi Angle (C)question Answering, sviluppato da AI2 (Allen Institute of AI), un’azienda di Seattle.
Si tratta di un modello basato sulla disciplina del question-answering, quindi quei modelli dedicati, trainati e sviluppati per ricevere come input la domanda e formulare una risposta coerente e relativa al contesto.
Macaw è stato testato su un set di 300 domande, dando il 10% in più di risposte precise rispetto alle performance del GPT-3.
In cosa consiste questo modello?
Questo modello ha, di fatto, un approccio “multiangolare” rispetto alle combinazioni di input e output che vengono inviate e inserite in fasa di dataset o in fase di inferenza.
Gli slot di informazioni sono divisi fra “contesto”, “domanda”, “opzioni multiple”, “risposta”, “spiegazione”.
Macaw usa questi slot e fa combinazioni fra di loro per migliorare l’output, cioè per avere una risposta sempre più precisa.
Precisiamo che il GPT-3 nasce come generatore di testi, mentre Macaw nasce come modello di question-answering.
Naturalmente, l’output stesso del Macaw può essere migliorato utilizzando gli stessi output come input per un training, per un’inferenza successiva, portando così in modo ricorsivo a produrre risposte e domande sempre migliori.
Questo è sicuramente uno degli esempi di come questa tecnologia sia in continua evoluzione per portarci ad avere modelli sempre più veloci, più efficenti e che necessitano di data set sempre più piccoli.
È la fine della tendenza dei modeli mastodontici?
Questi modelli nascono con l’obiettivo di risolvere il problema del recupero dati, attività difficile sia per chi deve creare la soluzione di Intelligenza Artificiale, sia per chi la commissiona, ma fondamentale.
Ora, è comprensibile che nel corso degli anni ci sia stata la gara a chi ce l’avesse più grande…
Un modello con miliardi di parametri può sicuramente portare dei vantaggi…
Ma bisogna specificare che, allo stesso tempo, questi modelli sono così avanzati da essere anche molto generici…
E allenare un GPT-3 o un modello di Natural Language Processing è un lavoro impattante, perciò si cerca di limitarlo.
E da qui deriva la “decrescita”, perché si affina il modello affinché lavori su task più specifiche, ma con meno parametri.
Certo, continueranno ad esserci modelli mastodontici, ma una risposta più veloce e il lavorare con dei dati contenuti è diventata un necessità.
Nel limitarlo si prendono il lavoro fatto per questi modelli e si riapplica per modelli più piccoli, che performano meglio sapendo che sono più specializzati di un GPT-3 molto generico.
2. Il nuovo algoritmo multi-tasking di Meta AI
Data2Vec è il nuovo algoritmo multi-task di Meta AI (al tempo “Facebook AI Research) e cercare di riprendere il cosiddetto concetto di “general purpose AI”.
Ora, la general purpose AI è un tipo di Intelligenza Artificiale non ancora esistente che riesce a riconoscere le immagini, i testi e fare altre attività a 360°.
Per noi addetti al lavoro, vedendo l’impegno che serve ad un’Intelligenza Artificiale per crescere e imparare, vediamo un gap tra le aspettative nei confronti dell’Intelligenza Artificiale e la realtà dei fatti.
Quindi, secondo noi ci vorranno diversi anni prima che si raggiunga quel livello di Intelligenza Artificiale.
Ma Data2Vec sembra essere un primo accenno di quella che definiremmo in italiano come “Intelligenza Artificiale Generale”.
Ora, concettualmente il modello è “separato” in due modelli con data set e metodologie diversi: uno lavora sull’identificazione delle immagini e un altro sull’interazione con gli esseri umani.
Data2Vec riesce ad unire la varie skill e tecniche dei vari settori, per trainare e creare un data set e fare inferenza allo stesso tempo sullo stesso modello, sia nel riconoscere immagini, nel riconoscere testi e nel linguaggio.
Il suo processo di apprendimento è unificato, quindi permette di creare un data set unico sia per il linguaggio, per i testi e per le immagini e, a quanto sembra, riesce ad eccellere in queste tre abilità.
Quindi, abbiamo davvero fatto uno step avanti verso un concetto di General Purpose.
L’approccio viene chiamato self-supervised learning: la rete neurale impara a trovare i pattern da sola, senza avere degli elementi labellizzati all’interno del data set.
E come funziona?
Data2Vec è costituito da due reti neurali, lo “studente” e l'”insegnante”.
In fase iniziale l'”insegnante” viene trainata su delle immagini, su dei testi e degli audio in modo classico, dandogli in pasto il data set: dandogli immagini di gatti, imparerà a riconoscere un gatto.
Lo “studente” viene invece trainata non per riconoscere le immagini del gatto, ma per interpretare ciò che la prima rete neurale ha percepito di queste immagini.
Per capirci, nel momento in cui l’immagine del gatto viene mostrata alla rete insegnante, verrà generato un output che rappresenta la percezione che l’insegnante ha dell’immagine.
L’output viene poi dato in input allo “studente” che percepisce che quell’output, che non è definito né come immagine, né come linguaggio, né come testo, per lui viene definito come “gatto”.
Lo studente, di fatto, non deve etichettare quell’informazione come immagine, linguaggio o testo.
Quindi, questo è sicuramente un bel passo avanti, ma vedremo poi nel lungo periodo quali saranno i risvolti di questo modello.
3. Un’Intelligenza Artificiale che aiuta a recuperare l’uso delle gambe
È una notizia che ha fatto il giro del mondo, e riguarda Michel Roccati, un ragazzo torinese di 30 anni rimasto paralizzato dopo un incidente in moto nel 2017.
A fine 2021 è riuscito a mettersi in piedi e a fare qualche passo grazie ad un’equipe coordinata dal politecnico di Losanna, che è riuscita ad installare dei dispositivi all’interno della colonna vertebrale di Rocatti, grazie a degli elettrodi impiantati nel midollo spinale e collegati ad un altro dispoitivo sull’addome, che riceve degli impulsi, creando la connessione mancante fra cervello e muscoli.
Non stiamo parlando di un miracolo, “alzati e cammina”, ma quasi.
Stiamo parlando di una persona costretta su una sedia a rotelle con la schiena spezzata che grazie alla tecnologia – elettronica e Intelligenza Artificiale – è riuscita a rimettersi in piedi.
Ricordiamo anche che l’Intelligenza Artificiale qui ha avuto un ruolo importante, perché è quella che è riuscita a coordinare i giusti impulsi ai giusti muscoli per coordinare il movimento.
Attraverso questo sistema il ragazzo ha riottenuto la capacità di camminare, di andare in bicicletta e di nuotare in ambienti specifici e controllati.
I ricercatori ritengono che questo dispositivo non possa essere applicato a qualsiasi tipo di trauma spinale, e ci tengono a specificare che non ripristina i nervi danneggiati.
Siamo all’inizio, c’è ancora della strada da fare, ma è la prima volta che vediamo una persona che viene rimessa in piedi grazie ai progressi del mondo scientifico.
