Intelligenza artificiale, il ruolo della tecno-vigilanza per la sanità e le prospettive dell’AI ACT

Domande e risposte sulla condizione di sicurezza in Europa su intelligenza artificiale generativa e sulla tecno-vigilanza nell’ambito della sanità alla luce dell'AI ACT. Parla Federico Cabitza (Bicocca - IRCCS Galeazzi)

L’anno 2023 verrà ricordato come l’anno in cui l’intelligenza artificiale generativa è entrata nelle nostre vite. L’ha fatto prepotentemente, con varie piattaforme conversazionali, come ad esempio, ChatGPT di Open AI, ed altri strumenti di natural language processing (NLP) che si sono espansi rapidamente e largamente in moltissimi ambiti. Basti pensare che il solo ChatGPT al suo rilascio della versione Beta nel novembre 2022 a 5 giorni dal lancio aveva collezionato 5 milioni di utenti. Ed attualmente, in attesa del Chatbot GPT-4 Turbo, – la nuova versione super potente – annovera 180 milioni di utenti attivi al mese nel Mondo e non è l’unico software di AI, ve ne sono almeno una decina di pari livello.

Garantire sicurezza senza offuscare le opportunità che offre in diversi campi come quello medico sanitario

Appare chiaro che tutto il comparto dell’intelligenza artificiale ed in modo particolare la crescita del machine learning e, a maggior ragione, l’intelligenza artificiale generativa sia da regolamentare, anche alla luce di garanzie per la trasparenza delle fonti, per i diritti d’autore e per la protezione dei dati personali. Il tutto senza offuscare le opportunità che offre in diversi campi come quello medico sanitario. Per l’utilizzo delle AI in ambito medico sono da considerare fondamentali le prove di efficacia, affidabilità e sicurezza e non ultimi, gli aspetti etici.

La ratifica dell’accordo preliminare noto come Artificial Intelligence Act – AI ACT sulla regolamentazione dell’AI è avvenuta solo poche settimane fa, coinvolgendo il Consiglio UE e il Parlamento Europeo. È un primo passo che avvia una regolamentazione dell’intelligenza artificiale, anche quella generativa. È il primo accordo al mondo di questo genere, ma di fatto, è da intendersi come atto politico che tende a garantire i diritti fondamentali in Europa, tenendo anche in considerazione gli aspetti di sviluppo e innovazione del settore. Questo in attesa di un atto più ‘tecnico-legale’ che possa delineare i rischi che l’utilizzo dell’AI presuppone e, allo stesso tempo, possa anche cogliere le opportunità che questo nuovo strumento mette a disposizione in tanti ambiti così importanti come, ad esempio, quello della salute.

Parlando con TrendSanità, inquadra meglio il tema Federico Cabitza, professore associato di Interazione uomo-macchina e supporto decisionale all’Università di Milano-Bicocca e all’IRCCS Galeazzi – Sant’Ambrogio di Milano.

Con l’Artificial Intelligence ACT abbiamo un primo accordo con il Parlamento Europeo sulla regolamentazione dell’AI. Di fatto, il primo step verso una regolamentazione è stato fatto. Come vede questo primo passo?

Federico Cabitza

È importante attendere il testo finale dell’AI ACT, anche solo qualche parola diversa può introdurre falle nel regolamento

«Anche se sono felice che i triloghi (i negoziati informali cui prendono parte i rappresentanti di Parlamento, Consiglio e Commissione UE ndr) relativi a questo importante regolamento si siano chiusi con un accordo sostanziale su molti punti controversi, mi accodo a molti altri commentatori, e attendo anch’io di leggere il testo finale prima di esprimere una opinione definitiva. Questo testo sarà pronto solo tra qualche settimana e attenderlo non è una cautela inutile: bastano poche parole per introdurre falle (i cosiddetti loophole) e passaggi ambigui che possono rendere sostanzialmente inefficace un regolamento intero, si pensi, ad esempio all’importanza della definizione di sistema AI nel definire il perimetro di applicazione della legge stessa».

Quando, secondo lei, vi potrà essere una regolamentazione univoca mondiale dell’AI?

«Questo lo escluderei, anche se è presumibile che le regolamentazioni avranno diversi punti in comune, così come qualche elemento di sostanziale e irriducibile differenza. È abbastanza naturale che le normative di diverse parti del mondo siano diverse, influenzate come sono da differenti approcci economici, culturali e politici. Raggiungere un accordo su scala globale richiederebbe un’estesa collaborazione internazionale e il superamento di notevoli differenze normative e di interesse locale; una cosa che non riusciamo a raggiungere nemmeno riguardo alla emergenza più grave che possiamo immaginare: il cambiamento climatico e la riduzione dell’impiego di combustibili fossili. Potremo però raggiungere una certa uniformità attraverso il riferimento congiunto a standard internazionali comuni che normano applicazioni specifiche in determinati settori come la sanità e i dispositivi medici; ma una regolamentazione globale unificata è un obiettivo remoto e di cui non penso che abbiamo davvero bisogno».

Come influenza l’ambito sanitario questa regolamentazione, in Europa?

«Le regolamentazioni sono complementari e con un certo livello di sovrapposizione. La regolamentazione nel settore sanitario, come ad esempio l’MDR, è più orientata a garantire la sicurezza e l’efficacia dei dispositivi medici basati sull’AI; il GDPR e il regolamento UE sull’intelligenza artificiale (AI ACT), invece, enfatizzano, rispettivamente, la protezione dei dati personali e la trasparenza e il rispetto dei diritti fondamentali quando si usano sistemi di AI. D’altro canto, sia il regolamento sulla AI che l’MDR danno disposizioni in merito alla classificazione dei rischi, alla valutazione della conformità e alla vigilanza del mercato. Entrambi i regolamenti richiedono che i dispositivi medici basati sull’AI siano sottoposti a rigorose valutazioni prima di essere immessi sul mercato e che siano monitorati per la loro sicurezza ed efficacia durante tutto il loro ciclo di vita.  Ciò richiede ai produttori e agli operatori del settore sanitario di comprendere entrambi i regolamenti e di assicurarsi che i loro prodotti e pratiche siano conformi ad entrambi i regolamenti. Concretamente, questo richiederà un’attenta pianificazione e un processo di graduale adeguamento, relativo soprattutto alla documentazione, ai processi di valutazione del rischio (i cosiddetti impact assessment), e ai meccanismi di monitoraggio e segnalazione. Se ne è parlato recentemente ad un convegno organizzato da uno spin-off dell’Università di Milano-Bicocca, Red Open, che si occupa proprio di valutazione di impatto secondo il GDPR e l’AI ACT».

I dispositivi medici e quindi anche le AI come devono essere classificati?  Quali classi di rischio? E la sicurezza in termini di privacy?

I dispositivi medici che integrano una qualche forma di AI devono basarsi su studi clinici scrupolosi

«I dispositivi medici che integrano una qualche forma di AI sono semplicemente software as medical device; devono quindi essere classificati secondo il rischio che presentano per i pazienti in una scala che varia da “basso rischio” ad “alto rischio” (ad esempio, nell’UE da Classe I a Classe III). La mia opinione personale è che sistemi che sono sviluppati per influenzare (positivamente) la pratica medica e per farlo con un impatto non trascurabile (altrimenti sarebbero del tutto accessori e i loro costi non sarebbero giustificati) debbano essere classificati almeno in classe IIa e IIb, cioè, richiedere una certificazione da organismi notificati e la raccolta di prove di efficacia derivanti da studi clinici progettati e condotti in modo scrupoloso. La privacy è un’altra questione, che richiede una serie di verifiche molto diverse, relative anche alla cybersicurezza e la raccolta di consensi informati, ma ovviamente entrambe le cose sono necessarie per la tutela di tutti i diritti degli assistiti».

Parliamo di etica nell’intelligenza artificiale… cosa ne pensa?

«Etica è una parola astratta e che a mio parere è spesso citata a sproposito: sembra assumere che, se non ci fosse, gli operatori di mercato sarebbero ben disposti a passare sopra i diritti delle persone pur di perseguire il proprio profitto. Per governare il mercato non ci si appella solitamente all’etica degli operatori, ma al fatto che tutti devono rispettare le leggi; piuttosto, trovo strano che non si sia soliti invocare l’etica per tutte le altre pratiche capitalistiche e liberiste che non riguardano lo sviluppo di sistemi software di particolare efficacia. Ciò detto, garantire l’equità, la trasparenza, la responsabilità e il rispetto della privacy nell’uso delle tecnologie digitali, compresa l’AI, è certamente importante, ma per questo ci sono le leggi, il Codice civile, quello penale, il GDPR e a breve, anche il regolamento sull’uso della AI (che comunque non sarà pienamente applicato prima di 2-3 anni). Ognuno di noi deve usare le tecnologie in maniera responsabile e consapevole dei rischi che corre e che può far correre agli altri. È etica questo? Se lo è, allora ritengo che non si sia mai parlato di altro negli ultimi duemila anni, ed è inutile riscoprirla oggi quando si parla di AI».

Il termine tecno-vigilanza, da lei coniato, che cosa vuole intendere, chi la dovrebbe garantire?

«Il termine ‘tecno-vigilanza’ riguarda il monitoraggio continuo della sicurezza, dell’efficacia e della qualità dei dispositivi medici, inclusi quelli basati sulla AI, e del loro impatto sulla pratica medica. Questa sorveglianza dovrebbe essere garantita dai produttori, dalle autorità sanitarie nazionali e dalle agenzie regolatorie (come l’EMA in Europa). Da diversi anni ne promuovo l’idea perché ritengo sia fondamentale avere un approccio tecno-vigilante per identificare e gestire i rischi che emergono dall’uso di tali dispositivi, e per assicurare che i benefici superino i rischi potenziali in ogni momento dal loro rilascio sul mercato, esattamente come si fa con i farmaci. Per chi ne vuol sapere di più consiglio il lavoro che ho scritto con un vero esperto della materia, il britannico Hugh Harvey, nel 2018 Algorithms are the new drugs? Reflections for a culture of impact assessment and vigilance».

Accanto al tema della tecno–vigilanza, ancora pochi giorni fa, la Commissione Europea ha presentato la proposta per lo spazio europeo dei dati sanitari. Possiamo correlare anche questo passo ad un discorso di tecno-vigilanza in termini di scurezza e di privacy?

«Sì certo. La proposta della Commissione Europea per lo spazio europeo dei dati sanitari è un passaggio molto importante per migliorare lo scambio e l’accesso ai dati sanitari nell’UE. Per questo motivo ritengo che promuova l’innovazione ‘buona’, cioè quella volta a migliorare i servizi sanitari e la qualità della vita dei pazienti. Tale proposta richiede però dei meccanismi rigorosi di sicurezza per tutelare il diritto alla riservatezza dei pazienti. In questo quadro, penso che un approccio tecno-vigilante sia essenziale per assicurare che le infrastrutture tecnologiche e i processi di scambio dati siano, e rimangano, sicuri in quanto riconosce che non evolvono solo le tecnologie buone, ma anche gli strumenti in mano di chi vuole violare la sicurezza dei dati per scopi illeciti (ad esempio i cybercriminali nel caso dei ransomware). Quindi la proposta a cui fa riferimento rappresenta un progresso significativo nella gestione dei dati sanitari in Europa, ma introduce anche importanti sfide in termini di sicurezza e protezione dei dati che solo una tecno-vigilanza matura può aiutare a superare».

Live «Intelligenza artificiale e sanità»: clicca qui per iscriverti

Può interessarti

Silvia Pogliaghi
Giornalista scientifica, esperta di ICT in Sanità, socia UNAMSI (Unione Nazionale Medico Scientifica di Informazione)