Una rete convoluzionale addestrata su immagini dermoscopiche può eguagliare o superare la sensibilità di dermatologi certificati nel distinguere melanoma da nevo, a patto che il test set venga dalla stessa distribuzione del training. A metà 2019 questo è un risultato consolidato. La parte difficile non è ottenere quel numero su un benchmark: è capire quanto ne sopravvive quando l’immagine arriva da un sensore diverso, con un’illuminazione diversa, dentro un flusso di laboratorio che non ho costruito attorno al modello.

Contesto

La pubblicazione di riferimento resta Esteva et al. (Nature, 2017): una InceptionV3 pre-addestrata su ImageNet e rifinita su circa 129.450 immagini cliniche, messa a confronto con 21 dermatologi certificati su carcinoma contro lesione benigna e melanoma contro nevo. Il modello eguaglia la giuria umana sull’area sotto la curva ROC (Receiver Operating Characteristic). Da allora la letteratura ha replicato e in qualche caso superato il dato umano su compiti ristretti: Brinker et al. (European Journal of Cancer, 2019) descrivono una rete convoluzionale (CNN) che batte 136 dermatologi su 157 in una classificazione dermoscopica diretta, con p < 0.001 rispetto alla giuria.

Tutti questi risultati hanno un presupposto in comune: il test set è dermoscopico, curato, etichettato per biopsia e distribuito come il training. I dataset pubblici hanno reso riproducibili questi benchmark — l’archivio della International Skin Imaging Collaboration (ISIC) e in particolare HAM10000 (Tschandl et al., Scientific Data, 2018; 10.015 immagini su sette categorie diagnostiche). È un buon punto di partenza e una cattiva misura di quello che succede in produzione.

Architettura

Per la classificazione, a metà 2019 l’approccio dominante è il transfer learning su una backbone ImageNet: InceptionV3, ResNet, oppure DenseNet quando serve profondità a parità di parametri. Si congelano gli strati bassi, si rifiniscono gli alti, si sostituisce la testa con le classi dermatologiche. L’addestramento end-to-end da zero, come in Esteva, chiede ordini di grandezza di immagini etichettate in più di quante ne abbia un singolo laboratorio.

Per la segmentazione della lesione — separare i pixel di lesione da quelli di cute sana — il riferimento è la U-Net (Ronneberger, Fischer, Brox, MICCAI 2015): un percorso contraente per il contesto, un percorso espandente simmetrico per la localizzazione, skip connection che recuperano la risoluzione spaziale persa nel downsampling. Il banco di prova standard è la task 1 della ISIC 2018 (2.594 immagini di training, maschere binarie). La segmentazione viene prima della classificazione quando servono un crop centrato sulla lesione e una misura dell’area, ma porta dietro un secondo modello da addestrare, validare e versionare.

L’inferenza non è il collo di bottiglia: una U-Net segmenta un’immagine 512×512 in meno di un secondo su GPU, e una InceptionV3 classifica in decine di millisecondi. Il costo sta altrove.

Punto critico

Tra il numero pubblicato sul benchmark e il numero in laboratorio c’è di mezzo il distribution shift. Tre cause, in ordine di gravità per come le ho viste:

  • Dominio di acquisizione. I modelli addestrati su dermoscopia peggiorano sulle immagini cliniche a fotocamera, e viceversa. Cambiano scala, messa a fuoco, presenza di artefatti dermoscopici (bolle, peli, riflessi del gel). Un modello che non ha mai visto un pelo attraversare la lesione lo scambia per un bordo.
  • Bias di annotazione. In HAM10000 oltre metà delle etichette è confermata da istopatologia, il resto da follow-up, consenso di esperti o microscopia confocale. Le categorie sono sbilanciate: dominano i nevi melanocitici. Una rete che massimizza l’accuratezza grezza impara a rispondere “nevo” e ha quasi sempre ragione. La metrica che conta non è l’accuratezza, ma la sensibilità sul melanoma a una specificità fissata.
  • Marcatori spuri. Le reti imparano correlazioni presenti nel dataset ma non causali: righelli adesivi, marcatori cutanei a inchiostro, cerotti compaiono più spesso vicino a lesioni che il clinico ha già giudicato sospette. Il modello impara il righello, non la lesione.

Nessuno di questi problemi si risolve con più strati o più epoche. Si risolvono con dati che coprono il dominio di acquisizione reale e con una validazione su un test set raccolto a parte, idealmente in un altro centro.

Integrazione

Una pipeline d’immagine che restituisce un punteggio non è ancora un sistema usabile in laboratorio. Tra il modello e il referto ci sono vincoli che con il deep learning non c’entrano nulla, e sono quelli a decidere se il modello verrà mai usato.

Il primo è la tracciabilità del campione. Un’immagine dermatologica va legata in modo non ambiguo a paziente, accessione, dispositivo di acquisizione, operatore e istante. Nei flussi di laboratorio questo passa per la messaggistica HL7 (Health Level Seven) v2.x — i messaggi ORM per gli ordini, ORU per i risultati — verso il Laboratory Information System (LIS). Il punteggio di un modello che non si aggancia a un’accessione tracciabile è un numero orfano: non si può referare, non si può verificare, non si può difendere.

Il secondo è la riproducibilità della versione. Un punteggio prodotto oggi deve restare ricostruibile: quale modello, quali pesi, quale pre-processing, quale soglia. Senza questo non si può rivalutare un risultato a mesi di distanza, quando arriva l’esito istologico — e quel confronto è il dato di validazione clinica più prezioso che si abbia.

Il terzo è la collocazione nel flusso decisionale. Un classificatore ad alta sensibilità e specificità moderata serve come strumento di triage o seconda lettura, non come decisore autonomo. La soglia operativa si fissa sul costo clinico dei falsi negativi, e quel costo lo definisce il clinico, non la curva ROC.

Limiti

A metà 2019 il dato solido è la classificazione binaria su immagini dermoscopiche curate, distribuite come il training. Fuori da lì le garanzie cedono in fretta: la classificazione multiclasse su molte diagnosi rare è frenata dalla scarsità di esempi per classe; la generalizzazione tra dataset e dispositivi diversi è fragile; la validazione prospettica su flussi clinici reali è in larga parte ancora da fare, e i lavori citati lo dichiarano apertamente.

Le metriche che riporto qui valgono per i test set pubblici. Su un flusso di laboratorio reale vanno rimisurate sui dati di quel flusso, perché è l’unico posto in cui il suo distribution shift diventa osservabile. Il modello è la parte che si trasferisce; la validazione no.

Il progetto ALA, che porta queste reti dentro un flusso diagnostico clinico reale, è raccontato in un insight pubblicato da noze: https://www.noze.it/insights/ala-progetto/.

Immagine di copertina: Vista al dermatoscopio di un melanoma maligno della pelle: macchia pigmentata bruno-nerastra a bordi irregolari su cute, con segni di… — foto di Dermanonymous, CC BY-SA 4.0 — https://commons.wikimedia.org/wiki/File:Malignant_Melanoma_Left_Mid_Back_Dermatoscope.jpg