Spuštěna první multimodální lékařská datová sada pro zachycení interakcí mezi pacientem a lékařem

Výzkumníci z University of Pennsylvania spustili Observer, první multimodální lékařskou datovou sadu, která zachycuje anonymizované interakce mezi pacienty a lékaři v reálném čase. Podobně jako v lékařském dramatu Pittkterý zobrazuje život na pohotovosti, Observer nechává nahlédnout dovnitř klinik primární péče – pouze v tomto případě žádná z natočených interakcí není fiktivní.

Až dosud byla data dostupná výzkumným pracovníkům ve zdravotnictví omezena na stopy zanechané po návštěvě: kvalitativní informace, jako jsou poznámky od lékaře, a kvantitativní měření, jako jsou vitální funkce pacienta. Žádný z těchto zdrojů nezachycuje jemnosti, jako je řeč těla a hlasový tón nebo faktory prostředí, včetně používání počítače, které ovlivňují vzájemnou interakci poskytovatelů a pacientů.

„Tolik z toho, co utváří lékařské návštěvy a jejich výsledky, bylo pro výzkumníky neviditelné,“ říká Kevin B. Johnson, profesor David L. Cohen University a hlavní autor nového článku popisujícího Observer v Žurnál Americké asociace lékařské informatiky. „Díky technologii, která anonymizuje naše nahrávky a umožňuje soulad s HIPAA, nám Observer umožňuje sledovat, jak se péče vyvíjí. Tento druh důkazů není jen základem pro zlepšení klinické praxe, je zásadní pro vývoj odpovědných nástrojů umělé inteligence pro rozšíření péče.“

Výzkumníci již udělili pilotní granty dalším týmům, aby mohly začít používat Observer s cílem rozšířit soubor dat na národní zdroj pro zlepšení zdravotní péče. „Tyto rané projekty jsou začátkem setrvačníku,“ říká Johnson. „Jak výzkumníci generují nové poznatky a záznamy, soubor dat poroste, což nám umožní klást ještě ambicióznější otázky.“

Proč na klinických datech záleží

Po desetiletí výzkumníci využívali údaje o lékařských návštěvách ke studiu, jak zlepšit zdravotní péči. Medical Information Mart pro intenzivní péči, projekt přidružený k MIT zahájený v 90. letech 20. století, nyní obsahuje desítky tisíc záznamů o návštěvách JIP a byl citován v tisících výzkumných prací pokrývajících témata, jako je klinické rozhodování a nemocniční operace.

V poslední době sehrála tato data klíčovou roli také ve výcviku AI, protože umožňují modelům AI identifikovat vzorce spojující diagnózy, léčbu a výsledky napříč velkou populací pacientů. „Naučili jsme se ohromné ​​množství z toho, co je zdokumentováno v lékařském záznamu,“ říká Johnson. „Ale pokud chceme porozumět plnému zážitku z péče, potřebujeme data, která ukazují, co se děje v místnosti.“

Díky Observeru, který propojuje video, zvuk a přepisy s klinickými daty a elektronickými zdravotními záznamy (EHR), si nyní vědci mohou klást nové otázky: kdy se během návštěvy objeví smích a zda ovlivňuje výsledky; jak často se lékaři dívají na pacienty oproti obrazovkám jejich počítačů; jak uspořádání místnosti nebo technologie digitálního rýsování mění komunikaci; a jak pacienti reagují na vysvětlení diagnóz.

Tento druh multimodálních důkazů – kombinující video, audio a lékařské záznamy – vytváří příležitosti v mnoha oblastech. Zpřístupněním těchto dat demokratizujeme lékařský výzkum a otevíráme nové cesty ke zlepšení péče.“

Karen O’Connorová, zástupkyně ředitele laboratoře Johnson’s Artificial Intelligence for Ambulatory Care Innovation (AI-4-AI)

Zajištění soukromí pacienta

Ve Spojených státech jsou zdravotní informace pacientů chráněny zákonem HIPAA (Health Insurance Portability and Accountability Act), který vyžaduje, aby všechna data použitá pro výzkum byla zbavena identifikačních údajů.

U obrazu a zvuku bylo historicky téměř nemožné tento standard splnit. Až donedávna by vytvoření souboru dat skutečných klinických setkání vyžadovalo ruční kontrolu a úpravu každé sekundy záznamu a zvuku, což je proces náročný na práci a náchylný k chybám.

Vstupte do MedVidDeID, nástroje, který výzkumníci z Pennu vyvinuli pro automatickou anonymizaci video a audio nahrávek z klinického prostředí, který popisují v samostatném článku v Journal of Biomedical Informatics. V testech MedVidDeID úspěšně deidentifikoval více než 90 % video snímků bez lidského zásahu a zkrátil celkovou dobu kontroly o více než 60 %.

Vícestupňový systém extrahuje přepisy, odstraňuje identifikační text, drhne zvuk, transformuje hlasy a automaticky detekuje a rozmazává tváře a další vizuální identifikátory pomocí nejmodernějších modelů počítačového vidění. Kontrolor provádí konečnou kontrolu kvality, aby zajistil úplné odstranění chráněných zdravotních informací.

„Postavili jsme modulární potrubí, které automatizuje většinu audio-video procesu deidentifikace. Tím, že udržujeme člověka ve smyčce, jsme schopni chránit soukromí pacientů a zároveň umožňujeme video-informovaný výzkum ve velkém měřítku,“ říká Sriharsha Mopidevi, hlavní vývojář aplikací v laboratoři AI-4-AI a spoluautor obou článků.

Před sběrem dat se výzkumníci ujistili, že pacienti, rodiny pacientů a lékaři měli možnost se přihlásit a později poskytnout zpětnou vazbu k procesu. Výsledkem bylo, že tým nasadil na zúčastněných klinikách několik kamer: pevnou pokojovou kameru pro zachycení celkové návštěvy, kameru na hlavě, kterou nosí lékař, aby ukázal svůj pohled, a – když se účastníci rozhodli – kameru namontovanou na pacientovi pro záznam návštěvy z pohledu pacienta.

Budoucí směry

Po dokončení první fáze sběru dat a probíhajících pilotních studií se tým Observer připravuje na rozšíření souboru dat a jeho zpřístupnění širší výzkumné komunitě. Tým plánuje přijmout přístupový model podobný tomu, který používá MIMIC, který umožní kvalifikovaným výzkumníkům žádat o povolení používat multimodální nahrávky pro jejich vlastní studie.

„V konečném důsledku jde o změnu systému zdravotní péče,“ říká Johnson. „Nemůžete zlepšit péči nebo vybudovat smysluplnou klinickou AI, aniž byste porozuměli samotnému setkání. Když vidíte, co se děje během stovek nebo tisíců návštěv, transformace je možná.“