Zelante e accurato nelle diagnosi e nell'assistenza, come un neolaureato in Medicina o uno specializzando. Dottor ChatGPT viene nuovamente messo alla prova in uno studio scientifico e incassando nel complesso una 'promozione' dagli autori del lavoro, ricercatori del Mass General Brigham negli Usa, che parlano di "un'accuratezza che impressiona" nel processo decisionale clinico. E' giovane ma ha la stoffa per crescere, in altre parole la loro conclusione.  

Per la precisione, secondo lo studio, l'accuratezza di questo chatbot al quale è stata applicata una frontiera dell'intelligenza artificiale, quella dei Llm (Large-Language Model), era pari al 72% per quanto riguarda il processo decisionale clinico nel suo complesso, dall'individuazione di possibili diagnosi da valutare, alla definizione della diagnosi finale, fino alle decisioni sulla gestione dell'assistenza. E ChatGpt ha funzionato "ugualmente bene" sia nelle cure primarie che in quelle di emergenza e in tutte le specialità mediche. I risultati del gruppo di ricerca sono stati pubblicati sul 'Journal of Medical Internet Research'. 

Il nostro documento, spiega l'autore corrispondente dello studio, Marc Succi, "valuta in modo completo il supporto decisionale tramite ChatGpt fin dall'inizio del lavoro con un paziente attraverso l'intero scenario di cura, dalla diagnosi differenziale fino ai test, alla diagnosi e alla gestione. Non esistono punti di riferimento reali, ma stimiamo che questa performance sia al livello di qualcuno che si è appena laureato in medicina, come uno stagista, oppure uno specializzando. Questo ci dice che i Llm in generale hanno il potenziale per essere uno strumento di potenziamento per la pratica della medicina e per supportare il processo decisionale clinico con precisione. Lo studio mostra come questi modelli potrebbero essere utilizzati nella consulenza clinica e nel processo decisionale. Succi e il suo team hanno testato un'ipotesi: che ChatGpt possa essere in grado di elaborare un intero incontro clinico con un paziente e raccomandare un iter diagnostico, decidere il corso della gestione clinica e, infine, formulare la diagnosi finale. 

Nell'ambito della ricerca, a ChatGpt è stato chiesto innanzitutto di elaborare una serie di diagnosi possibili o differenziali basate sulle informazioni iniziali del paziente, che includevano età, sesso, sintomi e se il caso fosse un'emergenza. Sono state quindi fornite informazioni aggiuntive e gli è stato chiesto di prendere decisioni gestionali e di fornire una diagnosi finale, simulando l'intero processo di visita di un paziente reale. Il team ha confrontato l'accuratezza di ChatGpt su diagnosi differenziale, test diagnostici, diagnosi finale e gestione in un processo strutturato in cieco, assegnando punti per le risposte corrette e utilizzando strumenti per valutare la relazione tra le prestazioni di ChatGpt e le informazioni demografiche presenti in 36 vignette. 

Il compito in cui ChatGpt è risultato migliore è stata la diagnosi finale per la quale ha raggiunto un'accuratezza al 77%. Mentre le prestazioni più basse le ha avute nelle diagnosi differenziali (60%). Ed era accurato solo al 68% nelle decisioni di gestione clinica, come capire con quali farmaci trattare il paziente dopo essere arrivato alla diagnosi corretta. Altri dettagli emersi dallo studio? ChatGpt non mostrava pregiudizi di genere. Insomma, era anche politically correct. 

"Ha invece combattuto un po' con la diagnosi differenziale. Questo ci dice dove i medici" in carne e ossa "sono veramente esperti e portano il loro massimo valore aggiunto", riflette Succi. Gli autori tengono in ogni caso a precisare che, prima che strumenti come ChatGPT possano essere presi in considerazione per l'integrazione nell'assistenza clinica, sono necessarie ulteriori ricerche di riferimento e indicazioni normative. "Il Mass General Brigham vede una grande promessa per i Llm e il loro contributo al miglioramento dell'erogazione dell'assistenza sanitaria e dell'esperienza del medico", conclude il coautore Adam Landman. "Stiamo attualmente valutando soluzioni che aiutano con la documentazione clinica e redigono risposte ai messaggi dei pazienti".