Systém AI pro rychlou anotaci lékařských obrazů by mohl urychlit klinický výzkum

Anotaci zájmu o regiony o lékařských obrazech, proces známý jako segmentace, je často jedním z prvních kroků, které kliničtí vědci provádějí při provádění nové studie zahrnující biomedicínské obrazy.

Například, aby se určilo, jak se změna velikosti mozku hippocampus při stárnutí pacientů vědec poprvé nastiňuje každý hippocampus v řadě skenování mozku. Pro mnoho struktur a typů obrázků je to často manuální proces, který může být velmi časově náročný, zejména pokud jsou studované regiony náročné na vymezení.

Abychom tento proces zefektivnili, vědci MIT vyvinuli systém založený na umělé inteligenci, který umožňuje výzkumníkovi rychle segmentovat nové biomedicínské zobrazovací datové sady kliknutím, čmáraním a kreslením na obrázcích. Tento nový model AI používá tyto interakce k predikci segmentace.

Protože uživatel označuje další obrázky, počet interakcí, které potřebují k provedení, se snižuje a nakonec klesne na nulu. Model pak může přesně segmentovat každý nový obrázek bez vstupu uživatele.

Může to udělat, protože architektura modelu byla speciálně navržena tak, aby používala informace z obrázků, které již byly segmentovány pro vytváření nových předpovědí.

Na rozdíl od jiných modelů segmentace lékařských obrázků tento systém umožňuje uživateli segmentovat celý datový soubor bez opakování jejich práce pro každý obrázek.

Kromě toho interaktivní nástroj Pro školení nevyžaduje předběžný datový soubor obrázků, takže uživatelé nepotřebují odborné znalosti v oblasti strojového učení ani rozsáhlé výpočetní zdroje. Mohou používat systém pro nový úlohu segmentace bez rekvalifikace modelu.

Z dlouhodobého hlediska by tento nástroj mohl urychlit studie nových metod léčby a snížit náklady na klinické hodnocení a lékařský výzkum. Lékaři by také mohli použít ke zlepšení účinnosti klinických aplikací, jako je plánování radiační léčby.

„Mnoho vědců může mít čas jen na segmentaci několika obrázků denně pro svůj výzkum, protože manuální segmentace obrazu je tak časově náročná.

„Doufáme, že tento systém umožní nové vědě tím, že umožní klinickým vědcům provádět studie, které jim bylo zakázáno, kvůli nedostatku efektivního nástroje,“ říká Hallee Wong, An elektrotechnika a postgraduální student a vedoucí autor a vedoucí autor a papír Na tomto novém nástroji zveřejněném na arxiv předtiskový server.

Na papír se k ní připojil Jose Javier Gonzalez Ortiz Ph.D. ’24; John Guttag, profesor počítačové vědy a elektrotechniky Dugalda C. Jacksona; a vedoucí autor Adrian Dalca, docent na Harvard Medical School a MGH, a vědec v MIT v oblasti informatiky a umělé zpravodajské laboratoře (CSAIL). Výzkum bude představen na Mezinárodní konferenci o počítačové vizi (ICCV 2025) Pomohl 19.-33. října v Honolulu na Havaji.

Zefektivnění segmentace

Existují primárně dvě metody, které vědci používají k segmentaci nových sad lékařské obrázky. S interaktivní segmentací zadávají obrázek do systému AI a použijí rozhraní k označení oblastí zájmu. Model předpovídá segmentaci na základě těchto interakcí.

Nástroj dříve vyvinutý vědci MIT, ScribblepromptUmožňuje uživatelům to udělat, ale musí opakovat proces pro každý nový obrázek.

Dalším přístupem je vyvinout model AI specifický pro úkol pro automatické segmentaci obrázků. Tento přístup vyžaduje, aby uživatel ručně segmentoval stovky obrázků k vytvoření datového souboru a poté trénoval model strojového učení. Tento model předpovídá segmentaci pro nový obrázek. Uživatel však musí pro každý nový úkol spustit komplexní proces založený na stroji od nuly a neexistuje způsob, jak opravit model, pokud udělá chybu.

Tento nový systém, Multiversegkombinuje to nejlepší z každého přístupu. Předpovídá segmentaci pro nový obrázek založený na uživatelských interakcích, jako jsou škrabky, ale také udržuje každý segmentovaný obraz v kontextové sadě, na kterou se odkazuje později.

Když uživatel nahraje nový obrázek a označí oblasti zájmu, model čerpá z příkladů ve svém kontextu, aby provedl přesnější předpověď s menším vstupem uživatele.

Vědci navrhli architekturu modelu pro používání kontextové sady jakékoli velikosti, takže uživatel nemusí mít určitý počet obrázků. To dává multiverseg flexibilitu, která se má použít v řadě aplikací.

„V určitém okamžiku byste pro mnoho úkolů neměli muset poskytovat žádné interakce. Pokud máte v kontextové sadě dostatek příkladů, může model přesně předpovídat segmentaci sám,“ říká Wong.

Vědci pečlivě vytvořili a vyškolili model na rozmanité sbírce biomedicínských zobrazovacích dat, aby zajistili, že má schopnost postupně zlepšovat své předpovědi na základě vstupu uživatele.

Uživatel nemusí rektovat ani přizpůsobit model pro jejich data. Chcete -li použít multiverseg pro nový úkol, můžete nahrát nový lékařský obrázek a začít označit.

Když vědci porovnávali multiverseg s nejmodernějšími nástroji pro segmentaci v kontextu a interaktivní obrazové segmentaci, překonal každou základní linii.

Méně kliknutí, lepší výsledky

Na rozdíl od těchto jiných nástrojů vyžaduje multiverseg s každým obrázkem menší vstup uživatele. Na devátý nový obrázek potřeboval pouze dvě kliknutí od uživatele, aby se vytvořilo a segmentace přesnější než model navržený speciálně pro úkol.

U některých typů obrázků, jako jsou rentgenové paprsky, by uživatel mohl muset segmentovat pouze jeden nebo dva obrázky ručně, než se model stane dostatečně přesným, aby se předpovědi samo o sobě.

Interaktivita nástroje také umožňuje uživateli provést opravy predikce modelu a iteruje, dokud nedosáhne požadované úrovně přesnosti. Ve srovnání s předchozím systémem vědců dosáhl multiverseg 90% přesnost se zhruba 2/3 počet čoček a 3/4 počet kliknutí.

„U multiverseg mohou uživatelé vždy poskytnout více interakcí pro zdokonalení předpovědí AI. To stále dramaticky urychluje proces, protože je obvykle rychlejší korekce něčeho, co existuje, než začít od nuly,“ říká Wong.

Pohybující se vpřed, vědci chtějí tento nástroj otestovat v reálných situacích s klinickými spolupracovníky a zlepšit jej na základě zpětné vazby uživatele. Chtějí také umožnit multiverseg segmentu 3D Biomedicínské obrazy.

Tento příběh je znovu publikován s laskavým svolením MIT News (web.mit.edu/newsoffice/), populární web, který zahrnuje zprávy o výzkumu, inovacích a výuce MIT.