Výzkumníci WVU testují limity AI v diagnózech pohotovosti | Zprávy, sport, práce
Nástroje pro umělou inteligenci mohou pomoci lékařům pohotovostní místnosti při přesné předpovídání nemoci, ale pouze u pacientů s typickými příznaky, zjistili vědci z University z Západní Virginie.
Gangqing „Michael“ HU, docent na WVU School of Medicine Department pro mikrobiologii, imunologii a buněčnou biologii a ředitel základního zařízení WVU Bioinformatics, vedl studii, která porovnávala přesnost a přesnost čtyř modelů ChatGPT při vytváření lékařských diagnóz a vysvětlení jejich zdůvodnění.
Jeho zjištění, publikovaná v časopise Scientific Reports, ukazují potřebu začlenit větší množství různých typů dat do školení technologie AI, které pomáhají při diagnostice nemocí.
Více údajů může změnit, zda AI dává pacientům správné diagnózy pro to, co se nazývá „náročné případy“, které nevykazují klasické příznaky. Jako příklad HU poukázal na trojici scénářů z jeho studie zahrnující pacienty, kteří měli pneumonii bez typické horečky.
„V těchto třech případech všechny modely GPT neposkytly přesnou diagnózu,“ řekl Hu. „To nás přimělo ponořit se, abychom se podívali na poznámky lékařů a všimli jsme si, že vzorec těchto náročných případů má tendenci získat spoustu informací z různých zdrojů na internetu, ale tyto se nemusí zabývat prezentací atypických chorob.“
Studie analyzovala údaje z 30 případů veřejného pohotovostního oddělení, které z důvodů soukromí nezahrnovaly demografii.
Hu vysvětlila, že při používání ChatGPT k pomoci s diagnózou se nahrávají poznámky lékařů a tento nástroj je požádán, aby poskytl své tři nejlepší diagnózy. Výsledky se lišily pro testované verze HU: řada GPT-3,5, GPT-4, GPT-4O a O1.
„Když jsme se podívali na to, zda modely AI poskytly správnou diagnózu v některém ze svých tří nejlepších výsledků, neviděli jsme významné zlepšení mezi novou verzí a starší verzí,“ řekl. „Když se však podíváme na diagnózu číslo jedna z každého modelu, nová verze je přesnost o 15% až 20% vyšší než starší verze.“
Vzhledem k současnému nízkému výkonu modelů AI v komplexních a atypických případech HU uvedl, že lidský dohled je nutností vysoce kvalitní péče zaměřené na pacienta při používání AI jako pomocného nástroje.
„Tuto studii jsme neudělali ze zvědavosti, abychom zjistili, zda nový model poskytne lepší výsledky. Chtěli jsme vytvořit základ pro budoucí studie, které zahrnují další vstupy,“ řekl Hu. „V současné době zadáváme pouze poznámky lékaře. V budoucnu chceme zlepšit přesnost zahrnutím obrázků a zjištění z laboratorních testů.“
Hu také plánuje rozšířit zjištění z jedné ze svých nedávných studií, ve kterých aplikoval model ChatGPT-4 na úkol hraní fyzioterapeuta, psychologa, odborníka na výživu, odborník na umělou inteligenci a sportovce v simulované panelové diskusi o sportovní rehabilitaci.
Řekl, že věří, že takový model může zlepšit diagnostickou přesnost AI tím, že zaujme konverzační přístup, ve kterém interaguje více agentů AI.
„Z pozice důvěry si myslím, že je velmi důležité vidět kroky odůvodnění,“ řekl Hu. „V tomto případě pomáhají vysoce kvalitní údaje včetně typických i atypických případů budovat důvěru.“
HU zdůraznil, že zatímco Chatgpt je slibný, nejedná se o certifikovaný zdravotnický prostředek. Řekl, že pokud by poskytovatelé zdravotní péče měli zahrnout obrázky nebo jiná data do klinického prostředí, model AI by byl systémem open-source a nainstalován v nemocničním klastru, který by vyhovoval zákonům o ochraně osobních údajů.
Dalšími přispěvateli do studie byli Jinge Wang, postdoktorand, a Kenneth Shue, laboratorní dobrovolník z Montgomery County v Marylandu, oba na oddělení mikrobiologie, imunologie a buněčné biologie; Stejně jako Li Liu, Arizonská státní univerzita. Práce byla podporována financováním z National Institutes of Health and National Science Foundation.
