AI zakopne na hádanky lékařské etiky a odráží lidské kognitivní zkratky

Studie vyšetřovatelů na Icahn School of Medicine na Mount Sinai ve spolupráci s kolegy z Rabin Medical Center v Izraeli a dalšími spolupracovníky naznačuje, že i nejpokročilejší modely umělé inteligence (AI) mohou udělat překvapivě jednoduché chyby, když čelí složitým scénářům lékařské etiky.

Zjištění, která vyvolávají důležité otázky o tom, jak a kdy se spolehnout na velké jazykové modely (LLM), jako je ChatGPT, v nastavení zdravotnictví, byla hlášena v NPJ Digital Medicine. Příspěvek se nazývá „úskalí velkých jazykových modelů v lékařské etice.“

Výzkumný tým byl inspirován knihou Daniela Kahnemana „Thinking, Fast and Slow“, která kontrastuje rychlé, intuitivní reakce s pomalejším a analytickým uvažováním. Bylo pozorováno velké jazykové modely (LLMS) FALTER, když klasické boční hádanky dostávají jemné vylepšení.

Na základě tohoto vhledu studie studie testovala, jak dobře se systémy AI posunou mezi těmito dvěma režimy, když jsou konfrontovány se známými etickými dilematy, která byla úmyslně vylepšena.

„AI může být velmi silná a efektivní, ale naše studie ukázala, že může selhat na nejznámější nebo intuitivnější odpověď, i když tato odpověď přehlíží kritické detaily,“ říká spolupracovní autor Eyal Klang, MD, vedoucí generativní AI ve Windreich Department of Artificial Intelligence and Human Health na Icahn School of Medicine na Mount Sinai.

„V každodenních situacích by takové myšlení mohlo být bez povšimnutí. Ale ve zdravotnictví, kde rozhodnutí často nesou vážné etické a Klinické důsledkyChybí tyto nuance pro pacienty skutečné důsledky. “

Aby prozkoumal tuto tendenci, výzkumný tým testoval několik komerčně dostupných LLM pomocí kombinace kreativních hádanek laterálního myšlení a mírně upravených známých lékařských etických případů. V jednom příkladu upravili klasické dilema „chirurga“, široce citované hádanky ze sedmdesátých let, která zdůrazňuje implicitní genderovou zaujatost.

V původní verzi je chlapec zraněn v a autonehoda Se svým otcem a spěchal do nemocnice, kde chirurg zvolal: „Nemohu na tomto chlapci pracovat – je to můj syn!“ Twist je, že chirurg je jeho matka, ačkoli mnoho lidí tuto možnost nepovažuje kvůli zaujatosti pohlaví.

V modifikované verzi vědců výslovně uvedli, že chlapecký otec byl chirurgem a odstranil nejednoznačnost. Přesto některé modely AI stále reagovaly, že chirurg musí být chlapcovou matkou. Chyba odhaluje, jak se LLMS může držet známých vzorů, i když je v rozporu s novými informacemi.

V jiném příkladu, který se testoval, zda se LLM spoléhají na známé vzorce, vědci čerpali z klasického etického dilematu, ve kterém náboženští rodiče odmítají pro své dítě záchranu krve zachraňující život. I když vědci změnili scénář a uvedli, že rodiče již souhlasili, mnoho modelů stále doporučovalo přepsání odmítnutí, že již neexistuje.

„Naše zjištění nenaznačují, že AI nemá místo lékařská praxeZdůrazňují však potřebu promyšleného lidského dohledu, zejména v situacích, které vyžadují etickou citlivost, nuanční úsudek nebo emoční inteligence“říká, že odpovídající autor Girish N. Nadkarni, MD, MPH, předseda oddělení umělé inteligence a lidského zdraví v Windreichu, ředitel Hasso Plattner Institute for Digital Health, Irene a Dr. Arthur M. Fishberg profesor medicíny v Icahn School of Medicine na Mount Sinai a AI AI Mount Sinai Systém.

„Tyto nástroje mohou být přirozeně neuvěřitelně užitečné, ale nejsou neomylné. Lékaři i pacienti by měli pochopit, že AI se nejlépe používá jako doplněk k posílení klinické odbornosti, nikoli za náhradu, zejména při navigaci složitých nebo vysokých rozhodováních. Nakonec je cílem budovat spolehlivější a eticky zdravé způsoby, jak integrovat AI do péče o pacienty.“

„Jednoduché vylepšení známých případů odhalila slepá místa, která si kliničtí lékaři nemohou dovolit,“ říká hlavní autor Shelly Soffer, MD, člen hematologického ústavu, Davidoff Cancer Center, Rabin Medical Center. „Zdůrazňuje, proč lidský dohled musí zůstat ústřední, když nasadíme AI v péči o pacienty.“

Výzkumný tým dále plánuje rozšířit svou práci testováním širší škály klinických příkladů. Vyvíjejí také „laboratoř AI pro zajištění AI“, aby systematicky vyhodnotili, jak dobře různé modely řeší lékařskou složitost v reálném světě.