Anotaci zájmu o regiony o lékařských obrazech, proces známý jako segmentace, je často jedním z prvních kroků, které kliničtí vědci provádějí při provádění nové studie zahrnující biomedicínské obrazy.
Například, aby se určilo, jak se změna velikosti mozku hippocampus při stárnutí pacientů vědec poprvé nastiňuje každý hippocampus v řadě skenování mozku. Pro mnoho struktur a typů obrázků je to často manuální proces, který může být velmi časově náročný, zejména pokud jsou studované regiony náročné na vymezení.
Abychom tento proces zefektivnili, vědci MIT vyvinuli systém založený na umělé inteligenci, který umožňuje výzkumníkovi rychle segmentovat nové biomedicínské zobrazovací datové sady kliknutím, čmáraním a kreslením na obrázcích. Tento nový model AI používá tyto interakce k predikci segmentace.
Protože uživatel označuje další obrázky, počet interakcí, které potřebují k provedení, se snižuje a nakonec klesne na nulu. Model pak může přesně segmentovat každý nový obrázek bez vstupu uživatele.
Může to udělat, protože architektura modelu byla speciálně navržena tak, aby používala informace z obrázků, které již byly segmentovány pro vytváření nových předpovědí.
Na rozdíl od jiných modelů segmentace lékařských obrázků tento systém umožňuje uživateli segmentovat celý datový soubor bez opakování jejich práce pro každý obrázek.
Interaktivní nástroj navíc nevyžaduje pro školení předběžný datový soubor obrázků, takže uživatelé nepotřebují odborné znalosti strojového učení ani rozsáhlé výpočetní zdroje. Mohou používat systém pro nový úlohu segmentace bez rekvalifikace modelu.
Z dlouhodobého hlediska by tento nástroj mohl urychlit studie nových metod léčby a snížit náklady na klinické hodnocení a lékařský výzkum. Lékaři by také mohli použít ke zlepšení účinnosti klinických aplikací, jako je plánování radiační léčby.
Mnoho vědců může mít čas jen na segmentaci několika obrázků denně pro svůj výzkum, protože manuální segmentace obrazu je tak časově náročná. Doufáme, že tento systém umožní nové vědě tím, že umožní klinickým vědcům provádět studie, které jim bylo zakázáno dříve kvůli nedostatku efektivního nástroje. “
Hallee Wong, elektrotechnická a počítačová věda postgraduální studentka a vedoucí autor papíru o novém nástroji
Připojila se na novinu Jose Javier Gonzalez Ortiz PhD ’24; John Guttag, profesor počítačové vědy a elektrotechniky Dugalda C. Jacksona; a vedoucí autor Adrian Dalca, docent na Harvard Medical School a MGH, a vědec v MIT v oblasti informatiky a umělé zpravodajské laboratoře (CSAIL). Výzkum bude představen na Mezinárodní konferenci o počítačové vizi.
Vědci používají primárně dvě metody k segmentaci nových sad lékařských obrázků. S interaktivní segmentací zadávají obrázek do systému AI a použijí rozhraní k označení oblastí zájmu. Model předpovídá segmentaci na základě těchto interakcí.
Nástroj, který dříve vyvinuli vědci MIT, ScribblePrompt, umožňuje uživatelům to udělat, ale musí tento proces opakovat pro každý nový obrázek.
Dalším přístupem je vyvinout model AI specifický pro úkol pro automatické segmentaci obrázků. Tento přístup vyžaduje, aby uživatel ručně segmentoval stovky obrázků k vytvoření datového souboru a poté trénoval model strojového učení. Tento model předpovídá segmentaci pro nový obrázek. Uživatel však musí pro každý nový úkol spustit komplexní proces založený na stroji od nuly a neexistuje způsob, jak opravit model, pokud udělá chybu.
Tento nový systém, multiverseg, kombinuje to nejlepší z každého přístupu. Předpovídá segmentaci pro nový obrázek založený na uživatelských interakcích, jako jsou škrabky, ale také udržuje každý segmentovaný obraz v kontextové sadě, na kterou se odkazuje později.
Když uživatel nahraje nový obrázek a označí oblasti zájmu, model čerpá z příkladů ve svém kontextu, aby provedl přesnější předpověď s menším vstupem uživatele.
Vědci navrhli architekturu modelu pro používání kontextové sady jakékoli velikosti, takže uživatel nemusí mít určitý počet obrázků. To dává multiverseg flexibilitu, která se má použít v řadě aplikací.
„V určitém okamžiku byste pro mnoho úkolů neměli muset poskytovat žádné interakce. Pokud máte v kontextové sadě dostatek příkladů, může model přesně předpovídat segmentaci sám,“ říká Wong.
Vědci pečlivě vytvořili a vyškolili model na rozmanité sbírce biomedicínských zobrazovacích dat, aby zajistili, že má schopnost postupně zlepšovat své předpovědi na základě vstupu uživatele.
Uživatel nemusí rektovat ani přizpůsobit model pro jejich data. Chcete -li použít multiverseg pro nový úkol, můžete nahrát nový lékařský obrázek a začít označit.
Když vědci porovnávali multiverseg s nejmodernějšími nástroji pro segmentaci v kontextu a interaktivní obrazové segmentaci, překonal každou základní linii.
Méně kliknutí, lepší výsledky
Na rozdíl od těchto jiných nástrojů vyžaduje multiverseg s každým obrázkem menší vstup uživatele. U devátého nového obrázku potřeboval pouze dvě kliknutí od uživatele, aby se vytvořilo přesnější segmentaci než model navržený speciálně pro úlohu.
U některých typů obrázků, jako jsou rentgenové paprsky, by uživatel mohl muset segmentovat pouze jeden nebo dva obrázky ručně, než se model stane dostatečně přesným, aby se předpovědi samo o sobě.
Interaktivita nástroje také umožňuje uživateli provést opravy predikce modelu a iteruje, dokud nedosáhne požadované úrovně přesnosti. Ve srovnání s předchozím systémem vědců dosáhl multiverseg přesnost 90 procent se zhruba 2/3 počet čoček a 3/4 počet kliknutí.
„U multiverseg mohou uživatelé vždy poskytnout více interakcí pro zdokonalení předpovědí AI. To stále dramaticky urychluje proces, protože je obvykle rychlejší korekce něčeho, co existuje, než začít od nuly,“ říká Wong.
Pohybující se vpřed, vědci chtějí tento nástroj otestovat v reálných situacích s klinickými spolupracovníky a zlepšit jej na základě zpětné vazby uživatele. Chtějí také umožnit multiverseg segmentu 3D biomedicínské obrázky.
Tato práce je částečně podporována společností Quanta Computer, Inc. a National Institutes of Health s hardwarovou podporou Centra Massachusetts Life Sciences Center.
