Quanto è accurato un modello di machine learning sui dati clinici lo decide meno l’architettura e più il modo in cui quel dato è stato raccolto, codificato e protetto. I lavori usciti negli ultimi mesi lo mostrano con chiarezza, ed è il primo nodo da sciogliere per chiunque voglia portare un modello dal dataset di ricerca al reparto.

Contesto

L’8 maggio 2018 Rajkomar e colleghi pubblicano su npj Digital Medicine un modello di deep learning addestrato su 216.221 ricoveri di adulti in due centri accademici, a cui dà in pasto l’intera cartella clinica elettronica (Electronic Health Record, EHR) grezza, senza selezione manuale delle variabili. Le metriche riportate — AUROC (Area Under the Receiver Operating Characteristic curve) 0,93–0,94 per la mortalità intra-ospedaliera, 0,85–0,86 per la degenza prolungata, 0,75–0,76 per la riammissione non pianificata a 30 giorni — battono le baseline cliniche standard usate per gli stessi compiti.

Qualche settimana prima, l’11 aprile 2018, la FDA aveva autorizzato la commercializzazione di IDx-DR: il primo dispositivo che applica un algoritmo in autonomia, senza la revisione di uno specialista, per individuare la retinopatia diabetica da immagini del fondo oculare nelle cure primarie. L’autorizzazione poggia su uno studio pivotale prospettico e multicentrico, condotto su quegli stessi pazienti; mentre scrivo, i risultati numerici completi del trial non sono ancora usciti su rivista.

I due casi hanno in comune più di quanto sembri. In entrambi il salto rispetto al lavoro accademico precedente sta nella scala e nella standardizzazione del dato, non in una tecnica di apprendimento davvero nuova.

Il dato come vincolo dominante

Un dataset come MIMIC-III — oltre quarantamila pazienti di terapia intensiva del Beth Israel Deaconess, rilasciato in forma deidentificata nel 2016 — vale proprio perché è raro: quasi nessun dato clinico esce dal sistema informativo ospedaliero in cui nasce. Chi addestra un modello sul serio lavora quasi sempre su un solo centro, con codifiche locali, vocabolari non allineati e un campionamento dettato dalla prassi del reparto.

Da qui nascono tre problemi che nessuna scelta di architettura risolve.

Scarsità e sbilanciamento. Gli esiti che interessano davvero in clinica — la complicanza, il decesso evitabile, la diagnosi rara — sono per definizione poco frequenti. Un classificatore che predice sempre la classe maggioritaria arriva a un’accuratezza nominale alta e resta clinicamente inutile. Per questo i lavori seri riportano AUROC, sensibilità e specificità separate, e non la sola accuratezza: sono le metriche che reggono sotto sbilanciamento.

Dato mancante non a caso. In una cartella clinica un esame che manca non è rumore: un parametro lo si misura perché qualcuno ha deciso che andava misurato. Il disegno dei valori mancanti porta dentro di sé il giudizio del clinico. Un’imputazione che tratti quei vuoti come dato assente a caso cancella informazione e introduce un bias sistematico, difficile da scovare a valle.

Confondimento da trattamento. I dati osservazionali registrano pazienti che sono già stati curati. Un modello che predice un esito da variabili già toccate dalle terapie ricevute impara l’associazione fra trattamento ed esito, non la prognosi che c’è sotto. Spostato su un paziente non ancora trattato, fallisce in modo sistematico.

Validazione e trasferibilità

Un modello pubblicabile e uno usabile si distinguono per come si comportano fuori dal centro in cui sono stati addestrati. Lo studio EHR del 2018 riporta le metriche di due siti distinti proprio perché la coerenza fra ospedali va dimostrata, non data per scontata. Un modello tarato sulle codifiche, sulla popolazione e sulle abitudini prescrittive di un reparto può degradare appena incontra una distribuzione diversa — un distribution shift che nei dati clinici è la regola, non l’eccezione.

L’autorizzazione di IDx-DR segue la stessa logica dal lato regolatorio: il percorso De Novo della FDA inquadra il dispositivo in classe II e impone una validazione prospettica su uno studio definito a priori, con gli endpoint fissati prima di raccogliere i dati. È il meccanismo che impedisce di scambiare la performance sul test set per quella sul paziente reale.

Vincoli normativi sul dato

Dal 25 maggio 2018 il GDPR si applica direttamente in tutta l’Unione. Per chi lavora su dati sanitari due articoli pesano più degli altri.

L’articolo 9 mette i dati sulla salute fra le categorie particolari e ne vieta in linea di principio il trattamento, salvo basi giuridiche specifiche — fra cui il consenso esplicito, le finalità di medicina preventiva o di diagnosi, la ricerca scientifica con garanzie adeguate. La deidentificazione che rende condivisibile un dataset come MIMIC è la precondizione legale al trattamento, prima ancora che una scelta tecnica.

L’articolo 22 limita le decisioni prese solo da un trattamento automatizzato che producano effetti giuridici o comunque rilevanti sulla persona. Un modello che classifica da solo, senza intervento umano, finisce in questo perimetro nel momento in cui il suo output orienta una decisione clinica. Le garanzie minime — diritto all’intervento umano, a far valere il proprio punto di vista, a contestare la decisione — vincolano l’architettura del sistema, non solo la sua documentazione: vanno previste a monte, nel modo in cui il modello entra nel flusso clinico.

Limiti

Le metriche citate vengono da contesti precisi — due centri accademici per il modello EHR — e non si trasferiscono da sole ad altre popolazioni, codifiche o apparecchiature di acquisizione. Nessuno dei lavori discussi affronta la deriva temporale: un modello addestrato su dati storici degrada man mano che cambiano protocolli, codifiche e popolazione, e ogni quanto vada rivalidato resta una domanda aperta. Anche l’interpretabilità di questi modelli rimane parziale: l’AUROC misura la capacità discriminante aggregata, non spiega perché un singolo caso sia finito in una certa classe — ed è proprio la spiegazione del singolo caso quella che il clinico deve poter contestare.

Come questi vincoli si traducano in una pratica continuativa — analisi predittiva, modelli di classificazione e supporto alle decisioni cliniche — è il tema della linea Digital Health descritta nell’insight di noze: https://www.noze.it/insights/ml-dati-sanitari/.

Immagine di copertina: Fotografia del fondo oculare che mostra la retina con piccole emorragie sparse, segno di retinopatia diabetica iniziale — foto di National Eye Institute, National Institutes of Health, pubblico dominio — https://commons.wikimedia.org/wiki/File:Fundus_retinopathy_EDA03.JPG