Open-Source AI odpovídá nejvyššímu proprietárnímu modelu při řešení tvrdých lékařských případů

Umělá inteligence může transformovat medicínu nesčetnými způsoby, včetně svého slibu působit jako důvěryhodný diagnostický asistent pro zaneprázdněné lékaře.

Během posledních dvou let vynikaly proprietární modely AI, známé také jako modely s uzavřeným zdrojovým zdrojem, při řešení těžko děrných lékařských případů, které vyžadují složité klinické uvažování. Zejména tyto modely AI s uzavřeným zdrojem překonaly Open-Source ty, takzvané, protože jejich zdrojový kód je veřejně dostupný a může být vyladěn a upraven nikým.

Chytila ​​se AI open-source?

Odpověď se zdá být ano, alespoň pokud jde o jeden takový model Open-source AI, podle zjištění nové studie financované NIH vedené vědci na Harvard Medical School a proveden ve spolupráci s klinickými lékaři na Harvardu Beth Israel Deaconess Medical Center a Brigham a ženskou nemocnici.

Výsledky, Publikováno 14. března v Fórum Jama Health Fórum, Ukažte, že nástroj pro AI open-source Challenger s názvem Llama 3.1 405b prováděl na stejné úrovni jako GPT-4, přední proprietární model uzavřeného zdroje. Ve své analýze vědci porovnali výkonnost obou modelů z 92 mystifikačních případů uvedených v New England Journal of Medicine Týdenní rubrika diagnosticky náročných klinických scénářů.

Zjištění naznačují, že nástroje AI open-source se stávají stále konkurenceschopnějšími a mohou nabídnout cennou alternativu k proprietárním modelům.

„Pokud je nám známo, je to poprvé, kdy model AI open-source odpovídal výkonu GPT-4 v takových náročných případech, jak lékaři posoudili,“ řekl vedoucí autor Arjun Manrai, docent biomedicínské informatiky v Blavatnik Institute v HMS. „Je opravdu ohromující, že modely LLAMA se z této soutěže získaly tak rychle.

Výhody a nevýhody otevřených zdrojových a uzavřených systémů AI

Open-source AI a uzavřený zdroj AI se liší několika důležitými způsoby. Za prvé, open-source modely si lze stáhnout a spustit na soukromých počítačích nemocnice a udržovat údaje o pacientech interně. Naproti tomu modely s uzavřeným zdrojem pracují na externích serverech a vyžadují, aby uživatelé přenášeli soukromá data externě.

„Model s otevřeným zdrojovým kódem bude pravděpodobně více přitažlivější pro mnoho hlavních informačních úředníků, správců nemocnic a lékaře, protože o údajích, které opouštějí nemocnici pro jinou entitu, je něco zásadně odlišného, ​​a to i pro důvěryhodné,“ uvedl hlavní autor studie Thomas Buckley, doktorand v nové AI v medicíně, v oddělení HMS v oblasti biomedicínské informatiky.

Za druhé, lékařští a IT odborníci mohou vylepšit modely s otevřeným zdrojovým kódem pro řešení jedinečných klinických a výzkumných potřeb, zatímco nástroje s uzavřeným zdrojem je obecně obtížnější přizpůsobit.

„To je klíčové,“ řekl Buckley. „Místní data můžete použít k doladění těchto modelů, a to buď základními způsoby, nebo sofistikované způsoby, aby byly přizpůsobeny potřebám vašich vlastních lékařů, výzkumných pracovníků a pacientů.“

Zatřetí, vývojáři AI uzavřeného zdroje, jako jsou OpenAI a Google, hostí své vlastní modely a poskytují tradiční zákaznickou podporu, zatímco modely open-source stanoví odpovědnost za nastavení modelu a údržbu uživatelům. A alespoň dosud se ukázalo, že je uzavřené modely snáze integrovatelné Elektronické zdravotní záznamy a nemocnice IT infrastruktura.

Open-source AI versus uzavřený zdroj AI: Scorecard pro řešení náročných klinických případů

Algoritmy AI s otevřeným zdrojovým a uzavřeným zdrojem jsou vyškoleny na obrovských datových souborech, které zahrnují lékařské učebnice, recenzovaný výzkum, nástroje podpory klinického rozhodování a anonymizovaná data pacienta, jako například Případové studieVýsledky testu, skenování a potvrzené diagnózy. Prozkoumáním těchto hor materiálu v Hyperspeedu se algoritmy učí vzory. Například, jak vypadají rakovinné a benigní nádory na patologickém skluzu? Jaké jsou nejranější příznaky srdečního selhání? Jak rozlišujete mezi normálním a zaníceným tlustém střevem při CT skenování? Když jsou modely AI představeny s novými klinickými scénáři, porovnávají modely AI příchozí informace s obsahem, který se během tréninku přizpůsobili, a navrhují možné diagnózy.

Ve své analýze vědci testovali Llamu na 70 náročných klinických Nejm Případy dříve používané k posouzení výkonnosti GPT-4 a popsané v Dřívější studie Vedl Adam Rodman, HMS asistent profesora medicíny v Beth Israel Deaconess a spoluautor o novém výzkumu. V nové studii vědci přidali 22 nových případů zveřejněných po skončení tréninkového období Llamy, aby se chránili před šancí, že Llama se během svého základního výcviku neúmyslně setkala s některými ze 70 publikovaných případů.

Model s otevřeným zdrojovým kódem vykazoval skutečnou hloubku: Llama provedla správnou diagnózu v 70 procentech případů ve srovnání s 64 procenty pro GPT-4. Správný výběr také zařadil jako první návrh 41 procent času ve srovnání s 37 procenty pro GPT-4. U podskupiny 22 novějších případů se model open-source skóroval ještě vyšší, což provedl správné volání 73 procent času a identifikoval konečnou diagnózu jako svůj nejvyšší návrh 45 procent času.

„Jako lékař jsem viděl, jak se hodně zaměřuje na výkonné velké jazykové modely, které se soustředí kolem proprietárních modelů, které nemůžeme běžet lokálně,“ řekl Rodman. „Naše studie naznačuje, že modely s otevřeným zdrojovým kódem mohou být stejně mocné, což lékařům a zdravotnickým systémům poskytuje mnohem větší kontrolu nad tím, jak se tyto technologie používají.“

Každý rok přibližně 795 000 pacientů ve Spojených státech zemře nebo trpí trvalým postižením v důsledku diagnostické chyby, podle roku 2023 zpráva.

Kromě okamžitého poškození pacientů mohou diagnostické chyby a zpoždění vyvolat vážnou finanční zatížení systému zdravotní péče. Nepřesné nebo pozdní diagnózy mohou vést k zbytečným testům, nevhodnému léčbě a v některých případech vážným komplikacím, které se v průběhu času zvládají těžší – a dražší -.

„Používané moudře a začleněné do současné zdravotní infrastruktury, nástroje AI by mohly být neocenitelnými kopiloty pro zaneprázdněné lékaře a sloužit jako důvěryhodné diagnostické pomocníci, aby zvýšili přesnost a rychlost diagnostiky,“ řekl Manrai. „Zůstává však zásadní, že lékaři pomáhají řídit toto úsilí, aby zajistili, že AI pro ně pracuje.“