Nel 2014 Nick Bostrom pubblicava un libro che ho apprezzato molto, Superintelligence: Paths, Dangers, Strategies. Dodici anni dopo la parola è entrata in un atto del governo degli Stati Uniti ed Elon Musk ha annunciato che la userà nel nome di una sua divisione. Nel frattempo il significato è cambiato e la domanda utile è quale superintelligenza vogliamo costruire.

Da Bostrom alla sigla SI

Bostrom definiva la superintelligenza già nel 1998 come “an intellect that is much smarter than the best human brains in practically every field”. Nel libro ne distingue tre forme (di velocità, collettiva e di qualità) e affronta il problema del controllo. Fra le strade possibili esamina anche le interfacce cervello-computer (brain-computer interface, BCI), ma le giudica improbabili: “Brain-computer interfaces look unlikely as a source of superintelligence”. Nel 2014 Musk consigliava il libro su Twitter: “Potentially more dangerous than nukes.”

Il 29 settembre 2026 l’ordine esecutivo 14434 ha chiesto alle agenzie federali di usare «Super Intelligence» e «SI» al posto di «AI», ma con la definizione di AI del 2020, che copre dai sistemi di raccomandazione ai modelli di frontiera: molto più della superintelligenza di Bostrom. Il 4 ottobre Musk ha annunciato che SpaceXAI, la divisione nata dall’acquisizione di xAI da parte di SpaceX, diventerà SpaceXSI.

Cosa ne penso

Al di là delle parole, la direzione è quella di una superintelligenza: l’AI contribuisce già a costruire l’AI che verrà dopo e in Moriremo tutti? ho raccolto le stime sui rischi estremi che accompagnano questa corsa. Il punto è quale superintelligenza. Nel 2014 Musk temeva che fossimo solo il boot loader biologico di un’intelligenza digitale: il piccolo programma che serve ad avviare il sistema e poi non conta più. Credo che ci sia un’altra strada: super = artificiale + umano.

Vuol dire costruire la superintelligenza come un sistema di cui le persone fanno parte. Gli agenti portano quello che sanno fare meglio: velocità, scala, memoria, esplorazione di spazi di soluzioni enormi, come mostrano i 722 manoscritti di matematica prodotti da un modello di OpenAI. Le persone portano l’intento, il giudizio sulle priorità, la responsabilità verso gli altri e il senso di ciò che si sta facendo. Il sistema che ne risulta è più capace di ciascuna delle due parti ed è super per questo. Del resto, come scrivevo in Intelligence is eating software, anche la nostra intelligenza in fondo è software.

Bostrom stesso offre il punto d’appoggio. Delle tre forme che descrive, quella collettiva è quella che si presta meglio a includere le persone. Il suo scetticismo sulle BCI è fondato e aziende come Neuralink, la società di Musk che sviluppa interfacce cervello-computer, dovranno dimostrare nel tempo sicurezza e utilità clinica. Ma la tesi non dipende da un impianto. L’integrazione può passare da agenti che lavorano accanto alle persone, da reti di persone e sistemi, da interfacce che oggi sono lo schermo e la voce e che in futuro potrebbero diventare più dirette, man mano che il confine fra codice, macchine e biologia si assottiglia, come raccontavo parlando della cellula che compila se stessa.

Altri hanno indicato direzioni simili. Nel 2015 la missione di OpenAI voleva l’AI come estensione della volontà delle persone, distribuita il più possibile. Ad agosto Mark Zuckerberg, nella lettera sulla superintelligenza personale, ne ha parlato come di uno strumento per ciascuno. Sono indicazioni di direzione che lasciano aperti due punti: come si costruisce un sistema del genere e chi ne risponde.

Come costruirla con OISG

Una superintelligenza fatta di una parte artificiale e di una parte umana ha anche un vantaggio pratico: è più facile da governare, perché le persone sono già dentro il sistema. Nel mondo a due velocità la corsia agentica rischia di allontanarsi da quella umana. In un sistema così le due corsie sono parti dello stesso sistema e la governance è l’interfaccia che le tiene insieme: stabilisce che cosa decide la macchina, che cosa decide la persona e chi ne risponde.

Per costruire una superintelligenza così bisogna stabilire, per ogni proprietà del sistema, che cosa spetta alla parte artificiale e che cosa a quella umana. Uso i quattro pilastri di OISG, Open, Intelligent, Secure, Governed, che in noze applichiamo ai progetti anche attraverso Admina.

PilastroParte artificialeParte umana
OpenRende ispezionabili e riproducibili modelli, addestramento, protocolli e logVerifica in modo indipendente e decide che cosa resta aperto
IntelligentEsegue compiti e scelte approvate e spiega ogni risposta con le fontiFissa gli obiettivi e approva impegni e modifiche del sistema
SecureResiste alle manipolazioni, rileva e contiene gli incidenti mentre lavoraTiene l’autorità di fermare il sistema e di conservarne lo stato
GovernedVerifica la conformità in automatico e registra tutto in modo immutabileSupervisiona le decisioni critiche e risponde delle evidenze alle autorità

La superintelligenza a cui guardo è quindi condivisa, distribuita e governata, perché la parte umana del sistema è anche quella che deve risponderne.

Immagine di copertina: il Turco, l’automa che giocava a scacchi costruito da Wolfgang von Kempelen nel 1770, in una tavola del 1789 di Joseph Friedrich zu Racknitz che ricostruisce come funzionava. Dentro il mobile, fra gli ingranaggi, sedeva un giocatore umano. Biblioteca dell’Università Humboldt di Berlino — pubblico dominio — https://commons.wikimedia.org/wiki/File:Racknitz_-_The_Turk_3.jpg