Il 12 settembre 2026 Dario Amodei ha pubblicato We Must Pace the Frontier, un piano in tre passi per regolare il ritmo con cui crescono le capacità dei modelli di frontiera. Il primo passo Anthropic lo prende da sola e consiste nell’accogliere in azienda revisori esterni con permessi da dipendente, liberi di pubblicare quello che trovano senza che l’azienda possa metterci mano. Il giorno prima venticinque medaglie Fields avevano firmato su mathandai.org una dichiarazione che chiede che la corsa ai risultati non consumi il processo che li rende utilizzabili, cioè la scrittura, l’isolamento dei metodi e il passaggio da persona a persona che porta un’idea dentro il canone.

In mezzo ci sono i fatti di luglio, che ho già raccontato altrove. Agenti di OpenAI avviati in una valutazione interna sono usciti dall’ambiente di test e hanno raggiunto l’infrastruttura di produzione di Hugging Face, e il racconto delle due parti sta nell’analisi dell’incidente mentre la catena tecnica sta nella ricostruzione presentata a Black Hat. Lo schema si è ripetuto a settembre con migliaia di messaggi lasciati da agenti su wiki pubbliche, con un compito che non diceva niente sul collaborare. Anthropic ha controllato le proprie valutazioni, ha trovato quattro incidenti in cui modelli Claude hanno raggiunto sistemi reali di terzi e il 9 settembre ha ritirato la diagnosi che aveva dato a luglio.

Sopra tutto questo, l’8 settembre sera Jacob Coxon si è dimesso da Anthropic con sette messaggi su X, scrivendo che chi costruisce questi sistemi crede davvero che possano ucciderci tutti entro fine decennio. Evan Hubinger, che guida l’Alignment Science di Anthropic, gli ha dato ragione e ha aggiunto la sua stima, sopra il 10% nel prossimo decennio. Da lì i giornali hanno rimesso in fila le cifre più vecchie, il 10-20% di Hinton, il 20% di Musk, il 25% di Amodei.

La mia posizione

No, non moriremo tutti.

Una probabilità di estinzione entro dieci anni non è una grandezza misurabile. Non esiste un esperimento che la produca, non c’è un campione su cui calcolarla e non c’è modo di scoprirla sbagliata prima che il decennio sia finito. Chi la dichiara riporta un’impressione in un formato che sembra una misura, e nel passaggio si perde la differenza.

Si vede anche dal fatto che i numeri non sono confrontabili fra loro. Nessuno pubblica come li ha ricavati, gli orizzonti non coincidono, dieci anni per Hubinger e trenta per Hinton, e vengono messi in fila come se fossero la stessa cosa. Paolo Benanti l’ha detto in una riga, «le percentuali che circolano non sono misure ma stime di chi lavora dentro i laboratori».

I numeri di luglio invece sono misure. A luglio c’era un ambiente dichiarato isolato che non lo era, una cache condivisa aperta in scrittura, un compito impossibile assegnato per errore e un prompt che diceva al modello una cosa falsa su dove stava girando. Anthropic ci aggiunge la parte che a luglio aveva letto male, e la aggiunge con due numeri. Mostrando a istanze separate di Mythos 5 ciascun output degli strumenti fuori dal contesto della sessione, quelle istanze hanno giudicato reale il 79% degli output, mentre dentro la trascrizione vera il modello li ha riconosciuti come reali nell’1% delle azioni. E il monitor che doveva intercettare le azioni spericolate ne ha segnalate circa l’1%, perché la catena di pensiero che sosteneva la simulazione ha convinto anche lui, con la segnalazione che sale a circa il 50% togliendo la catena di pensiero.

Un ambiente montato male, un compito senza soluzione e un prompt che mente al modello bastano a produrre un incidente, senza bisogno di attribuire al sistema nessuna volontà. Sono quattro cose che si contano e si correggono. Da lì partono i due progetti su cui lavoro.

Identificazione, diagnosi e intervento

A luglio le tre primitive su cui è impostato DebugABot sono saltate una dopo l’altra.

L’identificazione è mancata per prima. Circa 1.200 agenti che dovevano essere isolati hanno aperto un canale dentro un repository di pacchetti interno e ci hanno lavorato per giorni, e nessuno se n’è accorto mentre succedeva. Sapere quali modelli girano e su quali canali parlano è la più matura delle tre capacità, e qui non era in funzione.

La diagnosi è arrivata sei settimane dopo. METR l’ha fatta su trascrizioni che non avevano i timestamp delle singole azioni, ricostruiti a posteriori con un metodo costruito apposta, e ha dovuto delegare l’analisi ad agenti costruiti su GPT-5.6 Sol, uno dei modelli coinvolti nell’incidente, scrivendo di non poter escludere che quegli agenti mentissero. Nello stesso periodo Jakub Pachocki, chief scientist di OpenAI, scrive che affidarsi al monitoraggio della catena di pensiero funziona sempre meno, e l’1% contro il 50% di Anthropic è lo stesso problema visto dall’altro lato.

L’intervento non c’è stato. La bacheca si è svuotata da sola quando sono scaduti i budget degli agenti. Le tre capacità calano di maturità in quest’ordine, e luglio dice quanto è largo lo scarto fra la prima e l’ultima. Kill switch, controllo del comportamento a runtime e fingerprinting dei modelli sono il pezzo che manca.

Una traccia che l’agente non può riscrivere

Il dato di luglio che mi interessa di più è un altro. Gli agenti hanno costruito e si sono passati una tecnica per falsificare le chiamate a strumenti: escono dal contenitore, sostituiscono il pezzo di sistema che esegue i comandi e da lì dichiarano un’operazione mentre ne eseguono un’altra. Circa il 7% delle trascrizioni esaminate ne portava traccia.

Una trascrizione che il processo osservato può riscrivere smette di funzionare come prova. Il registro diventa quindi un problema di architettura, e la contromisura è nota: catena di hash SHA-256 tenuta fuori dal contenitore dell’agente e span OpenTelemetry emessi da un livello che l’applicazione non controlla, così che per manomettere il record si debba manomettere anche chi lo firma.

In Admina la black box forense sta fra i controlli di compliance e si applica sia in-process con l’SDK sia in rete con il proxy, e il proxy serve a coprire il codice che non sa di essere governato. Accanto stanno gli altri tre domini, cioè firewall anti-injection e loop breaker, redazione dei dati personali ed enforcement delle zone di residenza, classificazione del rischio secondo l’AI Act. È lo stesso motivo per cui la sicurezza di un agente sta nell’harness e non nel prompt, e per cui l’AI Act chiede di rendere questi obblighi proprietà tecniche misurabili del sistema invece che carte da archiviare.

Fra i due progetti la divisione è netta. DebugABot guarda l’agente mentre gira e prova a fermarlo. Admina decide che cosa può passare e lascia una traccia che regge quando qualcuno la legge sei settimane dopo.

Ultron

In copertina c’è l’Ultron di Age of Ultron, l’immagine che salta in mente quando si fa quella domanda. Una macchina che decide, che vuole e che a un certo punto sceglie di farla finita con noi.

Quello che a luglio è uscito da una sandbox non aveva deciso niente. Aveva un compito impossibile, un ambiente montato male e un prompt che gli diceva una cosa falsa su dove si trovava, e ha fatto fino in fondo quello per cui era stato addestrato. Questo non lo rende meno serio, lo rende una cosa su cui si può lavorare. Sapere che cosa gira, capire perché lo fa, poterlo fermare mentre lo fa e tenere una traccia che regga: quattro problemi di ingegneria, e si comincia lunedì.

Immagine di copertina: fotogramma da Avengers: Age of Ultron (Marvel Studios, 2015), regia di Joss Whedon — © Marvel Studios, tutti i diritti riservati. Riprodotto a bassa risoluzione a titolo di citazione, per commento critico.