BLOOM, il modello che combatte le Big Tech

---

Credit: BigScience Research Workshop

---

I grandi modelli di linguaggio hanno un grande problema.

Appartengono tendenzialmente alle grandi aziende, perché hanno i soldi per permettersi sia l’hardware che il software per trainarli.

Le grandi aziende però, dovendo fare business, non danno mai i loro modelli, algoritmi e dati in open source.

Se lo fanno, è sotto grandi pressioni da parte degli studi di ricerca.

Questo frena molto il mondo della ricerca libera, il quale non ha accesso alle strumentazioni di cui avrebbe necessità.

Noi stessi ci basiamo su modelli pre-esistenti liberi, poiché quelli ‘privati’ sono totalmente controllati.

Un modello come GPT-3 è accessibile da utilizzatori solo attraverso il portale di OpenAI, senza comprendere il funzionamento del modello, e inserire dati talvolta privati può essere anche proibitivo.

Ma questa tendenza sta per cambiare…

Parliamo di BLOOM, l’algoritmo che vuole cambiare il mondo dei grandi modelli di linguaggio

Tre diverse entità nel campo dell’Intelligenza Artificiale (HuggingFace, GENCI e IDRIS) hanno dato vita a BigScience, un progetto che riunisce centinaia di ricercatori accademici, industriali e indipendenti i cui interessi abbracciano molti campi di ricerca attraverso l’IA, la PNL, le scienze sociali, il diritto, l’etica e le politiche pubbliche.

Il progetto BigScience mira a sviluppare un modo alternativo di creare, studiare e condividere grandi modelli linguistici all’interno delle comunità di ricerca dell’Intelligenza Artificiale.

Ciò che hanno in comune i ricercatori è che credono che l’Intelligenza Artificiale debba essere accessibile a beneficio dell’umanità.

L’obiettivo di BigScience è di democratizzare l’Intelligenza Artificiale affinché ne benefici il maggior numero di persone.

Queste basi sono ciò che ha reso BLOOM, la creatura di Bigscience, il modello di intelligenza artificiale più importante del decennio.

Come funziona Bloom

Più di 1.000 ricercatori di 60 paesi e più di 250 istituzioni hanno collaborato nella creazione di un grande modello linguistico multilingue e un set di dati di testo multilingue su un supercomputer da 28 petaflop (Jean Zay di IDRIS) situato vicino a Parigi, Francia.

‍Durante il workshop, i partecipanti hanno iniziato a studiare sia il data set che il modello da ogni angolazione: bias, impatto sociale, capacità, limiti, etica, potenziali miglioramenti, prestazioni di domini specifici, impronta di carbonio eccetera.

Ed è così che è nato BLOOM.

BLOOM è un grande modello di linguaggio addestrato per continuare il testo da un prompt su grandi quantità di dati di testo utilizzando risorse computazionali su scala industriale.

In quanto tale, è in grado di produrre un testo coerente in 46 lingue e 13 linguaggi di programmazione difficilmente distinguibile dal testo scritto da esseri umani.

Può anche essere incaricato di eseguire attività di testo per le quali non è stato addestrato in modo esplicito, lanciandole come attività di generazione di testo.

La vera bomba di BLOOM sta nel fatto che è stato pensato per essere distribuito, senza bias, eticamente limitato, considerandone anche le limitazioni e le prestazioni.

Insomma, questo modello non è nato er scopi di marketing, ma per distribuire conoscenza.

Al momento esiste un modello di AI che può avvicinare i grandi modelli di linguaggio alla ricerca, sia nelle università che nelle aziende.

E forse questo può essere problematico…

Gli usi corretti e non corretti di BLOOM

Nella pagina d presentazione di BLOOM, sono segnati tutti gli usi che si possono e non si dovrebbero fare:

Usi corretti: Generazione di testo, esplorare le caratteristiche del linguaggio generato da un modello linguistico, estrazione di informazioni, risposta alle domande, riepilogo

Uso “fuori focus”: Il modello non è progettato per decisioni critiche. Il modello restituisce contenuti che sembrano fattuali ma potrebbero non essere corretti. Utilizzo in domini biomedici, domini politici e legali o domini finanziari. Utilizzo per la valutazione o il punteggio di individui, ad esempio per l’occupazione, l’istruzione o il credito. Applicazione del modello per decisioni automatiche critiche, generazione di contenuti fattuali, creazione di riepiloghi affidabili o generazione di previsioni che devono essere corrette

Uso improprio: Generazione di spam, Disinformazione e operazioni di influenza, Denigrazione e diffamazione, Molestie e abusi, Inganno, Furto d’identità e imitazione non consentiti, Sorveglianza non autorizzata, Generazione di contenuti senza attribuzione al modello,

Questa cosa, nel panorama dei modelli di linguaggio, è un grande passo in avanti.

L’impianto etico di BLOOM

BLOOM (che sta per BigScience Large Open-science Open-access Multilingual Language Model) è progettato per essere il più trasparente possibile, sia per chi lo crea che per chi lo utilizza – a differenza delle big tech che hanno fatto l’esatto opposto.

Un grande obiettivo per BigScience era incorporare un impianto etico all’interno del modello sin dall’inizio, invece di trattarle a posteriori, una volta implementato

Infatti i grandi modelli di linguaggio sono più facilmente addestrati con tonnellate di dati raccolti dall’Internet.

Questo è un procedimento problematico, perché questi dataset includono informazioni personali, pregiudizi e bias.

BigScience ha sviluppato strutture di data governance in modo da chiarire quali dati vengono utilizzati e a chi appartengono.

Il gruppo sta inoltre lanciando una nuova licenza per l’intelligenza artificiale responsabile, progettato come deterrente dall’uso di BLOOM in settori ad alto rischio (forze dell’ordine, assistenza sanitaria etc), o per danneggiare, ingannare, sfruttare o rubare l’identità delle persone.

La nostra esperienza con BLOOM

Sicuramente mettere in open-source un modello del genere significa che migliaia di sviluppatori proveranno ad usarlo e a contribuire, così come è stato per Linux quando è stato creato.

È un passo enorme per il mondo dell’Intelligenza Artificiale, ma non lo potremmo valutare né oggi né fra sei mesi.

I veri risultati li vedremo nei prossimi anni, così come è stato per Tensorflow di Google, la libreria per modelli accessibile a tutti.

I contributi sono lenti, ma nel lungo periodo fanno la differenza.

Nel nostro piccolo abbiamo usato BLOOM per fare domande e generare testi e lo possiamo dire: è sicuramente un passo avanti rispetto ai Transformer che utilizziamo di solito.

BLOOM, pur essendo open source, è molto più simile ad un GPT-3 che ad un Transformer anche bene addestrato.

Certo, c’è ancora del lavoro da fare, anche perché nel nostro mondo – quello dell’industria – non si può lavorare con modelli generalisti.

E allo stesso modo c’è da riflettere sugli usi impropri di tale modello.

Elon Musk anni fa disse che il suo GPT-3 era pericoloso e che non voleva rilasciarlo in open source, proprio perché capiva la potenza che poteva dare alle mani sbagliate.

E anche in questo caso è molto simile al GPT-3.

BLOOM scrive così bene che potrebbe anche essere usato come bot di Telegram o di Twitter.

Il rischio concreto di usi impropri era grande già con il Gpt-3, adesso lo è ancora di più.