Umělá inteligence může transformovat medicínu nesčetnými způsoby, včetně svého slibu působit jako důvěryhodný diagnostický asistent pro zaneprázdněné lékaře.
Během posledních dvou let vynikaly proprietární modely AI, známé také jako modely s uzavřeným zdrojovým zdrojem, při řešení těžko děrných lékařských případů, které vyžadují složité klinické uvažování. Zejména tyto modely AI s uzavřeným zdrojovým zdrojem překonaly modely open-source, takzvané, protože jejich zdrojový kód je veřejně dostupný a může být vyladěn a upraven nikým.
Chytila se AI open-source?
Odpověď se zdá být ano, alespoň pokud jde o jeden takový model Open-source AI, podle zjištění nové studie financované NIH vedené vědci na Harvard Medical School a proveden ve spolupráci s klinickými lékaři na Harvardu Beth Israel Deaconess Medical Center a Brigham a ženskou nemocnici.
Výsledky, zveřejněné 14. března v Fórum Jama Health FórumUkažte, že nástroj pro AI open-source Challenger s názvem Llama 3.1 405b prováděl na stejné úrovni jako GPT-4, přední proprietární model uzavřeného zdroje. Ve své analýze vědci porovnali výkonnost obou modelů z 92 mystifikačních případů uvedených v New England Journal of Medicine Týdenní rubrika diagnosticky náročných klinických scénářů.
Zjištění naznačují, že nástroje AI open-source se stávají stále konkurenceschopnějšími a mohou nabídnout cennou alternativu k proprietárním modelům.
Pokud je nám známo, je to poprvé, kdy model AI open-source AI odpovídal výkonu GPT-4 v takových náročných případech, které lékaři hodnotili. Je opravdu ohromující, že modely Llama se tak rychle chytily s předním proprietárním modelem. Pacienti, poskytovatelé péče a nemocnice z této konkurence získají. “
Arjun Manrai, senior autor, docent profesora biomedicínské informatiky, Blavatnik Institute v HMS
Výhody a nevýhody otevřených zdrojových a uzavřených systémů AI
Open-source AI a uzavřený zdroj AI se liší několika důležitými způsoby. Za prvé, open-source modely si lze stáhnout a spustit na soukromých počítačích nemocnice a udržovat údaje o pacientech interně. Naproti tomu modely s uzavřeným zdrojem pracují na externích serverech a vyžadují, aby uživatelé přenášeli soukromá data externě.
„Model s otevřeným zdrojovým kódem bude pravděpodobně více přitažlivější pro mnoho hlavních informačních úředníků, správců nemocnic a lékaře, protože o údajích, které opouštějí nemocnici pro jinou entitu, je něco zásadně odlišného, a to i pro důvěryhodné,“ uvedl hlavní autor studie Thomas Buckley, doktorand v nové AI v medicíně, v oddělení HMS v oblasti biomedicínské informatiky.
Za druhé, lékařští a IT odborníci mohou vylepšit modely s otevřeným zdrojovým kódem pro řešení jedinečných klinických a výzkumných potřeb, zatímco nástroje s uzavřeným zdrojem je obecně obtížnější přizpůsobit.
„To je klíčové,“ řekl Buckley. „Místní data můžete použít k doladění těchto modelů, a to buď základními způsoby, nebo sofistikované způsoby, aby byly přizpůsobeny potřebám vašich vlastních lékařů, výzkumných pracovníků a pacientů.“
Zatřetí, vývojáři AI uzavřeného zdroje, jako jsou OpenAI a Google, hostí své vlastní modely a poskytují tradiční zákaznickou podporu, zatímco modely open-source stanoví odpovědnost za nastavení modelu a údržbu uživatelům. A alespoň dosud se ukázalo, že modely uzavřené zdroje se snadněji integrují s elektronickými zdravotními záznamy a nemocniční IT infrastrukturou.
Open-source AI versus uzavřený zdroj AI: Scorecard pro řešení náročných klinických případů
Algoritmy AI s otevřeným zdrojovým a uzavřeným zdrojem AI jsou vyškoleny na obrovských datových souborech, které zahrnují lékařské učebnice, recenzovaný výzkum, nástroje podpory klinické a rozhodování a anonymizované údaje o pacientech, jako jsou případové studie, výsledky testů, skenování a potvrzené diagnózy. Prozkoumáním těchto hor materiálu v Hyperspeedu se algoritmy učí vzory. Například, jak vypadají rakovinné a benigní nádory na patologickém skluzu? Jaké jsou nejranější příznaky srdečního selhání? Jak rozlišujete mezi normálním a zaníceným tlustém střevem při CT skenování? Když jsou modely AI představeny s novými klinickými scénáři, porovnávají modely AI příchozí informace s obsahem, který se během tréninku přizpůsobili, a navrhují možné diagnózy.
Ve své analýze vědci testovali Llamu na 70 náročných klinických případů NEJM dříve použitých k posouzení výkonnosti GPT-4 a popsali v dřívější studii vedené Adamem Rodmanem, asistentem medicíny HMS v Beth Israel Deaconess a spoluautor o novém výzkumu. V nové studii vědci přidali 22 nových případů zveřejněných po skončení tréninkového období Llamy, aby se chránili před šancí, že Llama se během svého základního výcviku neúmyslně setkala s některými ze 70 publikovaných případů.
Model s otevřeným zdrojovým kódem vykazoval skutečnou hloubku: Llama provedla správnou diagnózu v 70 procentech případů ve srovnání s 64 procenty pro GPT-4. Správný výběr také zařadil jako první návrh 41 procent času ve srovnání s 37 procenty pro GPT-4. U podskupiny 22 novějších případů se model open-source skóroval ještě vyšší, což provedl správné volání 73 procent času a identifikoval konečnou diagnózu jako svůj nejvyšší návrh 45 procent času.
„Jako lékař jsem viděl, jak se hodně zaměřuje na výkonné velké jazykové modely, které se soustředí kolem proprietárních modelů, které nemůžeme běžet lokálně,“ řekl Rodman. „Naše studie naznačuje, že modely s otevřeným zdrojovým kódem mohou být stejně mocné, což lékařům a zdravotnickým systémům poskytuje mnohem větší kontrolu nad tím, jak se tyto technologie používají.“
Podle zprávy 2023 každý rok zemře přibližně 795 000 pacientů ve Spojených státech nebo trpí trvalým postižením v důsledku diagnostické chyby.
Kromě okamžitého poškození pacientů mohou diagnostické chyby a zpoždění vyvolat vážnou finanční zatížení systému zdravotní péče. Nepřesné nebo pozdní diagnózy mohou vést k zbytečným testům, nevhodnému léčbě a v některých případech vážným komplikacím, které se v průběhu času zvládají těžší – a dražší.
„Používané moudře a začleněné do současné zdravotní infrastruktury, nástroje AI by mohly být neocenitelnými kopiloty pro zaneprázdněné lékaře a sloužit jako důvěryhodné diagnostické pomocníci, aby zvýšili přesnost a rychlost diagnostiky,“ řekl Manrai. „Zůstává však zásadní, že lékaři pomáhají řídit toto úsilí, aby zajistili, že AI pro ně pracuje.“
Zdroj:
Reference časopisu:
Buckley, ta, et al. (2025). Porovnání hraničních otevřených zdrojů a proprietárních modelů velkých jazyků pro komplexní diagnózy. Fórum Jama Health Fórum. doi.org/10.1001/jamahealthforum.2025.0040.
