White paper · 10 novembre 2026

Explainable AI per l'imaging medico: una checklist per chi sviluppa e per chi acquista

Punti chiave

  • Una spiegazione è un elemento di prova sul modello, non la dimostrazione che il modello abbia ragione.
  • Si controllano prima i dati, poi il modello: la spiegazione di un modello addestrato su dati distorti spiega la distorsione.
  • La spiegazione va messa alla prova: cambia quando cambia il modello? Coincide con ciò che guardano gli esperti?
  • Va dichiarato a cosa serve il modello e dove non deve essere usato.
  • Servono registrazioni che qualcun altro possa verificare.

Perché questa checklist

I modelli di imaging sono ormai abbastanza accurati da essere utili e abbastanza opachi da essere rischiosi. Una mappa di calore su un vetrino o su una scansione sembra una spiegazione, e per questo ispira fiducia. Se questa fiducia sia meritata è un'altra questione, e si può verificare. Le cinque domande che seguono sono quelle che ci poniamo nel nostro lavoro e sono altrettanto utili quando si acquista un sistema.

1. Su quali dati è stato costruito il modello?

Chiedi dimensione e origine degli insiemi di addestramento e di test, come sono state prodotte le etichette e da chi, e quanti casi provengono da ciascun centro, scanner o colorazione. Chiedi se l'insieme di test è indipendente da quello di addestramento a livello di paziente, non solo di immagine. Un modello che ha imparato la firma di uno scanner ti darà una spiegazione convincente della cosa sbagliata.

2. Che tipo di spiegazione è?

I metodi differiscono. Alcuni mostrano dove il modello ha guardato nell'immagine, altri quali caratteristiche o concetti hanno determinato il risultato, altri propongono un esempio simile. Ciascuno risponde a una domanda diversa. Chiedi a quale domanda la spiegazione deve rispondere, per chi, e che cosa non può dirti.

3. La spiegazione è stata messa alla prova?

Due controlli sono semplici e rivelatori. Il primo: rendere casuali i pesi del modello o le etichette. Se la spiegazione cambia poco, descrive l'immagine, non il modello. Il secondo: confrontarla con ciò su cui dicono di basarsi gli esperti, per esempio le regioni che un patologo o un radiologo indica come decisive. L'accordo incoraggia, il disaccordo è un'informazione, non per forza un difetto.

4. A cosa serve il modello e dove si ferma?

Un uso previsto chiaro indica la domanda clinica, la popolazione, i tipi di immagine e l'utente, e dichiara che cosa è fuori ambito. Chiedi le prestazioni nei sottogruppi e una descrizione degli errori che contano di più dal punto di vista clinico.

5. Che cosa viene registrato e chi può verificarlo?

Cerca dati e codice versionati, un registro di quale versione del modello ha prodotto quale risultato e un modo documentato per rivedere e correggere le spiegazioni. I regolatori nel Regno Unito e nell'UE vanno verso una vigilanza lungo tutto il ciclo di vita: le registrazioni tenute fin dall'inizio costano meno di quelle ricostruite dopo.

Come usarla

Se sviluppi: rispondi per iscritto alle cinque domande prima della prima dimostrazione. Se acquisti: poni le stesse cinque domande al fornitore e annota quali risposte mancano. Una risposta breve e onesta, con i limiti dichiarati, è un segnale migliore di una risposta sicura che non ne ha.

Questo documento offre indicazioni generali. Non riporta risultati di progetti per clienti e non costituisce consulenza legale o regolatoria.

Tutti i white paper