L'AI negli ospedali potrebbe essere un problema

Qualcosa di nuovo sul fronte artificiale: l'altro lato dell'AI

L'AI continua ad invadere gli ospedali (per ora, soprattuto quelli americani). Non è certamente una novità, dal momento che la medicina e il settore sanitario in generale sono stati tra i primi campi di applicazione dell'AI, ancora prima del boom generativo (ne abbiamo parlato qui e qui). Tuttavia, sembra che sempre più esperti e professionisti stiano iniziando a rivalutare l'impatto dell'AI negli ospedali, e a sollevare dubbi sui suoi presunti effetti benefici. 

In particolare, Michael Kennedy, un infermiere di terapia intensiva neurologica a San Diego, ha condiviso le sue preoccupazioni sull'impatto dell'intelligenza artificiale sulla professione infermieristica in un'intervista con Coda Story, un'organizzazione di giornalismo investigativo.

Di seguito la sua storia, riportata integralmente in italiano:

"Sono un infermiere di terapia intensiva neurologica. L'evoluzione dell'intelligenza artificiale nei nostri ospedali mi terrorizza.

Ogni mattina, intorno alle 6:30, prendo il tram per andare dal centro di San Diego fino all'ospedale dove lavoro, a La Jolla. La California meridionale non è famosa per il suo sistema di mezzi pubblici, ma io sono uno di quei pazzi che lo usa - ed è una meraviglia. Sono veloci, comodi, non devo pagare il parcheggio: fantastico. Un turno normale dura 12 ore, che diventano 13 dopo aver completato i referti e le registrazioni, quindi si sta a lavoro per molto tempo.

La maggior parte delle volte non mi aspetto di andare a lavoro e trovarmi di fronte a una catastrofe - certo, a volte capita, ma di solito è un lavoro normale, in cui si fanno cose di routine.

Lavoro nel reparto di terapia intensiva neurologica. La maggior parte dei nostri pazienti ha appena subito un intervento neurochirurgico per tumori o ictus. Tendenzialmente, quindi, non è un posto felice. Ci sono molte persone che devono reimparare abilità di base - come tenere una matita o camminare - con lunghi percorsi di riabilitazione. Dopo un trauma cerebrale si perdono spesso queste capacità, e recuperarle è un processo lungo. Vediamo i pazienti nel loro momento peggiore, e non riusciamo a vederne i progressi. Se siamo fortunati, forse, mesi dopo veniamo a sapere che sono riusciti a riprendersi pienamente. È un ambiente in cui la gratificazione non è per niente immediata.

Come infermiere, finisci per fare molto affidamento sull'intuito: anche solo il modo in cui un paziente dice qualcosa, o semplicemente il suo aspetto, possono suonare più di un campanello d'allarme. Non credo sia qualcosa che le macchine possano fare - eppure, negli ultimi anni, abbiamo visto sempre più sistemi di intelligenza artificiale intrufolarsi nei nostri ospedali.

Arrivo al lavoro alle 7. Dall'esterno, l'ospedale sembra futuristico: è un grattacielo tutto vetro e linee curve. Ha vinto una serie di premi di architettura. La struttura è stata finanziata da Irwin Jacobs, miliardario proprietario di Qualcomm, una grande azienda tecnologica di San Diego. Credo che il fatto che l'ospedale sia di proprietà di un leader di settore abbia molto a che fare con il modo in cui i dirigenti si approcciano alle nuove tecnologie.

Infatti, sono sempre alla ricerca dell'avanguardia ad ogni costo. E quando esce qualcosa di nuovo, vi si buttano a capofitto. Credo che sia per questo che abbiano puntato cosi tanto all'AI.

Non la chiamavamo AI all'inizio. La prima cosa che è successa è che queste nuove innovazioni si sono semplicemente infiltrate nel nostro sistema di cartelle cliniche elettroniche. Erano strumenti che monitoravano che specifici passaggi nel trattamento del paziente venissero seguiti. Se qualcosa fosse stato tralasciato o non fosse stato fatto, l'AI avrebbe mandato un avviso. Era molto rudimentale, e serviva ad evitare che i pazienti venissero lasciati indietro o trascurati.

Poi, nel 2018, l'ospedale ha acquistato un nuovo programma da Epic, l'azienda fornitrice del sistema di cartelle cliniche elettroniche. Prevedeva un parametro chiamato "gravità del paziente" - fondamentalmente il carico di lavoro che ogni paziente richiede per essere curato. È una misurazione molto importante, usata in ambito infermieristico per determinare quanto è malato un paziente e di quante risorse avrà bisogno. Al livello più basilare, classificavamo i pazienti come a bassa, media o alta intensità di cura. Prima che arrivasse l'AI, rispondevamo noi stessi a un questionario che chiedeva cose tipo: quanti farmaci ha il paziente? Sono farmaci per via endovenosa? Sono farmaci triturati? Ha un accesso venoso centrale o periferico? Roba del genere.

Questo determinava se un paziente era a bassa, media o alta intensità. E organizzavamo il personale di conseguenza. Se avevi molti pazienti ad alta intensità, avevi bisogno di più personale. Se avevi principalmente pazienti a bassa intensità, potevi permetterti meno personale.

Prima, rispondevamo noi a queste domande e ci sentivamo in controllo. Ci sentivamo come se avessimo voce in capitolo. Ma un giorno, questo ci è stato tolto. Invece, hanno comprato questo programma guidato dall'AI senza informare i sindacati, gli infermieri o i rappresentanti. Hanno semplicemente iniziato a usarlo e hanno inviato una email dicendo: "Ehi, adesso usiamo questo qui".

Il nuovo programma usava l'AI per attingere alle note e cartelle del paziente, e poi assegnava loro un punteggio speciale. Funzionava semplicemente in background all'interno dell'ospedale.

Il problema era che non avevamo idea da dove venissero questi dati. Sembrava magia, ma non in senso positivo. Sputava fuori un numero, tipo 240, ma non sapevamo cosa significasse. Non c'erano limiti chiari per bassa, media o alta intensità, rendendo di fatto il punteggio inutile.

Il risultato è stato che ci hanno tolto la possibilità di difendere i pazienti. Non potevamo più puntare a un punteggio e dire "Questo paziente è troppo malato, devo concentrarmi solo su di lui", perché i numeri non ci aiutavano più a prendere quella decisione.

Avevamo la sensazione che il sistema fosse progettato per togliere il potere decisionale agli infermieri. Negarci il potere di dire di quanta assistenza abbiamo bisogno.

Quello è stato il primo problema.

Poi, all'inizio di quest'anno, l'ospedale ha ricevuto una donazione enorme dalla famiglia Jacobs, e hanno assunto un responsabile AI. Quando lo abbiamo saputo, i nostri campanelli di allarme sono suonati - "Stanno puntando tutto sull'AI", ci siamo detti. Abbiamo saputo di questa tecnologia chiamata Scribe, una cosiddetta "Documentazione Ambientale". Hanno annunciato che l'avrebbero testata sui medici del nostro ospedale.

Fondamentalmente, Scribe registra il tuo incontro con il paziente; è come ChatGPT o un grande modello linguistico: registra tutto e compila automaticamente un report. O i tuoi documenti.

C'erano ovvie preoccupazioni su tutto questo. La numero uno è: "Dio, tutto ciò è sorveglianza di massa. Ascolteranno tutto quello che dicono i nostri pazienti, tutto quello che facciamo. Mi staranno spiando."

Non è la prima volta che provano a tenere sotto controllo gli infermieri. Il mio ospedale non l'ha fatto, ma ci sono ospedali in giro per gli Stati Uniti che usano tag di localizzazione per monitorare quante volte entri in una stanza, per assicurarsi che tu stia rispettando queste metriche. È come se non si fidassero di noi, come se non ci prendessimo davvero cura dei nostri pazienti.

Abbiamo distribuito volantini ai nostri colleghi per provare a informarli su cosa significhi davvero questa "Documentazione Ambientale". Abbiamo chiesto un incontro con il responsabile AI. Ha minimizzato ogni problema, dicendo: "No, no, no, vi ascoltiamo. Siamo dalla vostra parte. Stiamo iniziando, è solo un test." Molti di noi hanno alzato gli occhi al cielo.

Ha detto che stavano adottando il programma a causa del burnout dei medici. È vero, la documentazione è uno degli aspetti più noiosi del lavoro di un medico, e la odiano.

L'AI entra negli ospedali per monitorare i pazienti perché dovrebbe rendere la nostra vita più facile, ma nella mia esperienza, la tecnologia nell'assistenza sanitaria migliora le cose molto raramente . Di solito serve solo ad accelerare la catena di montaggio, a spremerci di più, in modo tale da poter assumere meno personale.

"Efficienza" è una parola d'ordine nella Silicon Valley, ma levatevela dalla testa quando si parla di assistenza sanitaria. Quando ottimizzi per l'efficienza, stai eliminando l'abbondanza. Ma quando sono in gioco le vite dei pazienti, vuoi avere abbondanza nel sistema. Vuoi avere più di un paio di occhi fisso su un paziente in ospedale.

Quando cerchi di ridurre tutto ad una macchina su cui una sola persona si affida per prendere decisioni, allora c'è solo un paio di occhi su quel paziente. Questo può essere efficiente, ma creando efficienza, stai anche creando molti potenziali rischi. Quindi l'efficienza non è così efficiente come pensano i potenti.

In un mondo ideale, credono che la tecnologia possa spazzare via i compiti noiosi, permettendoci di concentrarci sugli incontri con i pazienti invece di passare il nostro tempo dietro a un computer.

Ma chi pensa veramente che registrare tutto quello che dice un paziente e immagazzinarlo su un server di terze parti sia una buona idea? È pazzesco. Avrei bisogno di garanzie che il sistema sia al 100% sicuro - anche se in realtà nulla lo è mai. Tutti vorremmo essere liberati dagli obblighi di documentazione e poter essere più presenti con i nostri pazienti.

C'è un modo giusto per fare ciò. L'AI non è inevitabile, ma ci è piombata addosso in fretta. Un giorno ChatGPT era una novità, e ora tutto è AI. Ne siamo sommersi.

L'altra cosa che è esplosa nei nostri ospedali negli ultimi anni sono i sistemi di allerta guidati dall'IA. Si tratta di avvisi continui che si assicurano che abbiamo fatto certe cose - come controllato la sepsi, ad esempio. Di solito non sono molto utili, o non arrivano nel momento giusto. L'obiettivo è evitare che i pazienti vengano trascurati dal sistema sanitario - uno scenario terribile nel nostro settore. Ma non credo che stia funzionando come previsto.

Non credo che l'obiettivo sia davvero quello di fornire una rete di sicurezza per tutti - credo che sia in realtà quello di accelerarci, in modo da poter vedere più pazienti, ridurre le visite da 15 a 12 e poi a 10 minuti. Efficienza, di nuovo.

Credo che l'obiettivo sia che questi avvisi finiscano per prendere il sopravvento sull'assistenza sanitaria. Per dirci come fare il nostro lavoro invece che far spendere soldi agli ospedali per formare gli infermieri e fargli sviluppare capacità di pensiero critico, esperienza e intuito. Quindi diventeremmo fondamentalmente solo operatori di macchine.

Come infermiere esperto, ho imparato a riconoscere schemi e ad anticipare potenziali risultati in base a quello che vedo. I nuovi infermieri non hanno ancora quell'intuito o quell'abilità di previsione; sviluppare il pensiero critico fa parte della loro formazione. Quando sperimentano situazioni diverse, iniziano a capire quell'intuizione istintivamente.

In futuro, con l'AI e gli avvisi che li tartassano tutto il giorno ricordandogli come fare il loro lavoro, le nuove leve di infermieri potrebbero non sviluppare la stessa intuizione. Il pensiero critico sta per essere delegato altrove - alla macchina. Credo che i leader immaginino un mondo in cui possono decifrare il codice delle malattie umane e automatizzare tutto in base agli algoritmi. Ci vedono semplicemente come macchine da decifrare.

Fonte: Coda Story, "I'm a neurology ICU nurse. The creep of AI in our hospitals terrifies me"