Contesto

I sistemi AI applicati alla clinica sono soggetti a requisiti di affidabilità, spiegabilità e conformità normativa che la maggior parte delle architetture AI generaliste non copre. Un modello che ottiene buoni risultati su un dataset retrospettivo in laboratorio richiede, per essere utilizzato in un reparto, un intero sistema attorno: acquisizione dati, tracciabilità, integrazione con i sistemi informativi ospedalieri, validazione clinica prospettica, documentazione regolatoria. La distanza tra i due livelli è prevalentemente architetturale, non algoritmica.

Sfide specifiche della sanità

I sistemi sanitari operano con dati sensibili, decisioni ad alto rischio e workflow regolamentati. L’AI deve integrarsi in questi contesti senza comprometterne la sicurezza e l’affidabilità:

  • Protezione dei dati paziente (PII, dati clinici)
  • Spiegabilità delle decisioni per il personale clinico
  • Integrazione con sistemi ospedalieri esistenti (HIS, LIS, cartella clinica elettronica)
  • Conformità normativa (GDPR, MDR, EU AI Act)
  • Validazione clinica dei risultati AI con studi prospettici

Digital twin in pediatria

Nel progetto sulla Sindrome dell’Intestino Corto (SBS) con l’Ospedale Pediatrico Meyer di Firenze abbiamo lavorato su digital twin di pazienti pediatrici con malattia rara — modelli computazionali che replicano parametri fisiologici rilevanti (nutrizione parenterale, bilancio idrico, crescita) per supportare la decisione terapeutica.

Applicazioni di questo tipo richiedono molto più della sola accuratezza del modello. Il clinico deve poter comprendere perché il sistema suggerisce un dosaggio o una modifica terapeutica, verificare i dati su cui la decisione si basa e avere garanzie sulla protezione dei dati paziente in ogni fase del processo.

Un approccio architetturale

L’AI affidabile per la sanità non si ottiene solo con modelli migliori — richiede un’architettura di sistema progettata per la trasparenza, il monitoraggio e il controllo. Ogni componente AI deve essere auditabile, ogni decisione tracciabile, ogni dato protetto.

In pratica, questo significa progettare sistemi con:

  • Pipeline di dati con audit trail completo — ogni trasformazione documentata e reversibile
  • Modelli con output spiegabile — non solo il risultato, ma il ragionamento che lo ha prodotto
  • Layer di anonimizzazione nativi — i dati personali non devono mai raggiungere il modello in chiaro
  • Integrazione con standard clinici esistenti (HL7 FHIR, DICOM) per garantire interoperabilità
  • Monitoraggio continuo delle performance del modello in produzione con drift detection

Il quadro normativo europeo

L’EU AI Act classifica i sistemi AI in sanità come “alto rischio”, imponendo requisiti stringenti di documentazione, trasparenza e supervisione umana. Il Medical Device Regulation (MDR) aggiunge ulteriori vincoli per i sistemi che vengono classificati come dispositivi medici. Progettare la conformità normativa come parte dell’architettura — e non come un’aggiunta a posteriori — è l’unico approccio sostenibile.

Conclusione

La fiducia dei clinici in un sistema AI si costruisce attraverso proprietà verificabili del sistema, non attraverso le sue capacità predittive. Queste proprietà — auditabilità dei dati, spiegabilità delle decisioni, tracciabilità delle evidenze, conformità normativa nativa — sono gli stessi criteri che OISG formalizza come requisiti di adeguatezza per i sistemi AI autonomi. In sanità non sono opzionali: sono precondizioni operative.