Il 9 febbraio 2022 il collettivo EleutherAI ha reso scaricabili i pesi di GPT-NeoX-20B, un modello linguistico autoregressivo da 20 miliardi di parametri, sotto licenza Apache 2.0 e con il codice di training pubblicato a parte. La data si ricava dall’annuncio sul blog di EleutherAI e dalla comparsa dei file sul mirror The Eye. Per chi lavora sulla governance del software, la cosa interessante non è la taglia del modello ma il pacchetto che lo accompagna: pesi, codice, corpus documentato e licenza permissiva, tutti insieme.

Contesto

Per quasi tutto il 2020 e il 2021, ai modelli linguistici della stessa categoria di GPT-3 si è arrivati quasi solo attraverso API commerciali. Interroghi un endpoint remoto, paghi a token, e né i pesi né i dati di addestramento sono ispezionabili. Questo modello di distribuzione ha conseguenze concrete: chi studia il comportamento del sistema vede solo gli output, non i parametri; chi vuole riprodurre un risultato non ci riesce; chi deve stimare i bias o la memorizzazione dei dati di training lavora alla cieca.

EleutherAI, collettivo nato nel 2020 con l’obiettivo dichiarato di replicare in forma aperta modelli simili a GPT-3, aveva già rilasciato GPT-J-6B il 9 giugno 2021, anch’esso sotto Apache 2.0. Con GPT-NeoX-20B porta lo stesso approccio a una scala più grande.

Com’è fatto il rilascio

Il modello è stato addestrato con gpt-neox, la libreria di training che EleutherAI mantiene su GitHub. La libreria poggia sul Megatron Language Model di NVIDIA e integra le tecniche di DeepSpeed, ZeRO compreso, per il parallelismo su più GPU. Il codice esce sotto Apache 2.0: le parti derivate da NVIDIA conservano gli header di copyright originali, mentre i contributi del collettivo sono attribuiti a EleutherAI. L’hardware per l’addestramento l’ha fornito CoreWeave, e l’annuncio descrive la configurazione adottata.

I dati di addestramento sono The Pile, un corpus testuale in inglese da circa 825 GiB curato da EleutherAI e descritto nel paper di Leo Gao e colleghi del dicembre 2020 (arXiv:2101.00027). The Pile mette insieme 22 sotto-insiemi eterogenei — paper accademici, libri, codice, testo web filtrato — e da gennaio 2022 ha un datasheet dedicato (arXiv:2201.07311) che ne documenta provenienza, composizione e limiti noti, sul modello proposto da Gebru e colleghi per i dataset di machine learning.

Tre artefatti, quindi, distribuiti insieme:

  • i pesi del modello, scaricabili sotto Apache 2.0;
  • il codice di training, con le configurazioni che descrivono architettura e iperparametri;
  • la documentazione del corpus, come paper e datasheet.

Il punto critico: licenza permissiva e responsabilità del rilascio

Apache 2.0 non pone vincoli d’uso. Niente clausola che vieti applicazioni specifiche, niente approvazione caso per caso, niente gate d’accesso. Chi scarica i pesi può usarli, modificarli e ridistribuirli, anche a fini commerciali, purché rispetti gli obblighi di attribuzione e tenga la notice della licenza. È una scelta di governance diversa da quella di chi distribuisce modelli dietro un’API con termini applicabili lato server, e diversa anche dalle licenze che portano clausole d’uso accettabile.

Il rovescio della medaglia è che la responsabilità d’uso scivola tutta a valle, su chi scarica. EleutherAI lo dice senza giri di parole nell’annuncio: i modelli sono «artefatti di ricerca» e gli autori scrivono «we do not recommend deploying either in a production setting without careful consideration», invitando a leggere il paper e il datasheet sul corpus prima dell’uso. Il datasheet serve proprio a questo: rendere ispezionabile la composizione del training set è la precondizione tecnica per stimare bias, contaminazione e rischi di memorizzazione, una stima che con un sistema chiuso, dall’esterno, non si può fare.

Qui c’è una tensione di governance da nominare. Una licenza permissiva porta al massimo la riproducibilità scientifica e l’ispezionabilità — proprietà che un endpoint a pagamento non dà — ma rinuncia a ogni leva contrattuale sull’uso a valle. Pubblicare pesi e datasheet rende possibile la verifica indipendente; non rende il modello più sicuro in sé. Sono due piani da tenere distinti quando si discute di “aperto” riferito ai modelli.

Cosa cambia per la riproducibilità

Per chi fa ricerca, avere insieme pesi, codice e corpus documentato sposta il confine di quello che si riesce a verificare. Con un modello dietro API confronti gli output; con i pesi pubblici ispezioni i parametri, esegui il modello in locale, fai fine-tuning, misuri la memorizzazione del training set sondando direttamente la rete. Con il codice di training e le configurazioni, in linea di principio ricostruisci il processo di addestramento — il limite è il costo di calcolo, non l’accesso.

Il datasheet aggiunge l’anello mancante. Senza una descrizione strutturata del corpus, anche con i pesi in mano, l’analisi dei comportamenti del modello resta senza il contesto dei dati che li hanno prodotti. È la differenza fra notare che un modello produce un certo output e poter risalire al sotto-insieme del corpus che lo rende probabile.

Limiti

Riproducibilità “in linea di principio” non vuol dire riproducibilità pratica. Addestrare un modello da 20 miliardi di parametri richiede un cluster GPU che la maggior parte dei gruppi di ricerca accademici non ha; pubblicare il codice toglie la barriera dell’accesso al software, non quella del costo di calcolo. L’annuncio stesso definisce il software un work in progress e segnala bug aperti e inefficienze.

Anche “aperto” non è una proprietà binaria. Pesi sotto Apache 2.0, codice di training e datasheet sono un grado di apertura alto, ma restano questioni che il rilascio non chiude: i dati grezzi raccolti da fonti terze sono soggetti ai diritti dei titolari originali, e la documentazione del corpus, per quanto minuziosa, non equivale a un audit completo della provenienza di ogni documento. Valutare un modello “aperto” vuol dire guardare quali artefatti escono e a quali condizioni, senza fermarsi all’etichetta.

Immagine di copertina: Logo del collettivo EleutherAI: un’icona stilizzata su sfondo scuro a forma di quadrato — logo di Logo disegnato da Sid Black; versione SVG vettorizzata da VulcanSphere, CC0 — https://commons.wikimedia.org/wiki/File:EleutherAI_logo.svg