Učinit modely AI důvěryhodnější pro kontexty s vysokým podílem, jako je klasifikace nemocí na lékařských obrazech

Nejednoznačnost v lékařském zobrazování může představovat hlavní výzvy pro lékaře, kteří se snaží identifikovat onemocnění. Například v rentgenu hrudníku může pleurální výpotek, neobvyklé nahromadění tekutiny v plicích vypadat velmi podobně jako plicní infiltráty, které jsou akumulace hnisu nebo krve.

Model umělé inteligence by mohl pomoci lékaři v rentgenové analýze pomoci identifikovat jemné detaily a zvýšit účinnost procesu diagnostiky. Ale protože na jednom obrázku by mohlo být přítomno tolik možných podmínek, lékař by pravděpodobně chtěl zvážit soubor možností, spíše než mít pouze jednu predikci AI, která má být vyhodnocena.

Jeden slibný způsob, jak vytvořit sadu možností, nazývaných konformní klasifikace, je pohodlný, protože může být snadno implementován na vrcholu existujícího modelu strojového učení. Může však produkovat sady, které jsou neprakticky velké.

Vědci MIT si nyní vyvinuli jednoduché a efektivní zlepšení, které může zmenšit velikost predikčních sad až o 30% a zároveň činit předpovědi spolehlivější.

Mít menší sadu předpovědi může pomoci klinickému lékaři při správné diagnóze efektivněji, což by mohlo zlepšit a zefektivnit léčbu pacientů. Tato metoda by mohla být užitečná v celé řadě klasifikačních úkolů – přítomnosti pro identifikaci druhu zvířete na obrázku z parku divočiny -, protože poskytuje menší, ale přesnější sadu možností.

„S méně třídami, které je třeba zvážit, jsou sady předpovědí přirozeně informativní v tom, že si vybíráte mezi menšími možnostmi. V jistém smyslu opravdu obětuje nic, co se týče přesnosti pro něco, co je více informativní,“ říká Divya Shanmugam, Ph.D.

Shanmugam se připojí k papíru Helen Lu; Swami Sankaranarayanan, bývalý postdoktor MIT, který je nyní vědcem v Lilia Biosciences; a vyšší autor John Guttag, profesor Dugalda C. Jacksona v oblasti informatiky a elektrotechniky na MIT a člen počítačové vědy MIT a laboratoře umělé inteligence (CSAIL). Výzkum bude představen na Konference o počítačovém vidění a rozpoznávání vzorů v červnu.

Záruky předpovědí

AIS asistenti nasazení pro úkoly s vysokým podílem, jako jsou klasifikace nemocí v lékařských obrazech, jsou obvykle navrženy tak, aby vytvořily skóre pravděpodobnosti spolu s každou predikcí, takže uživatel může posoudit důvěru modelu. Například model může předpovídat, že existuje 20% šance, že obrázek odpovídá určité diagnóze, jako je pleurisy.

Je však obtížné důvěřovat předpovídané důvěře modelu, protože mnoho předchozího výzkumu ukázalo, že tyto pravděpodobnosti mohou být nepřesné. S konformní klasifikací je predikce modelu nahrazena sadou nejpravděpodobnějších diagnóz spolu se zárukou, že správná diagnóza je někde v sadě.

Inherentní nejistota v předpovědích AI však často způsobuje, že model vydává sady, které jsou příliš velké na to, aby byly užitečné.

Například, pokud model klasifikuje zvíře na obrázku jako jeden z 10 000 potenciálních druhů, může vydat sadu 200 předpovědí, aby mohl nabídnout silnou záruku.

„To je docela málo tříd pro někoho, kdo by se mohl procházet, aby zjistil, co je to správná třída,“ říká Shanmugam.

Tato technika může být také nespolehlivá, protože drobné změny vstupů, jako je mírně otáčení obrazu, mohou přinést zcela odlišné sady předpovědí.

Aby byla konformní klasifikace užitečnější, vědci použili techniku ​​vyvinutou ke zlepšení přesnosti modelů počítačového vidění nazývané testovací doba augmentace (TTA). TTA vytváří vícenásobné augmentace jediného obrázku v datovém souboru, možná ořezáváním obrázku, převrácením, přiblížením atd. Poté aplikuje model počítačového vidění na každou verzi stejného obrázku a agreguje jeho předpovědi.

„Tímto způsobem získáte několik předpovědí z jediného příkladu. Agregace předpovědí tímto způsobem zlepšuje předpovědi z hlediska přesnosti a robustnosti,“ vysvětluje Shanmugam.

Maximalizace přesnosti

Pro aplikaci TTA vědci podrží některá označená obrazová data použitá pro konformní klasifikační proces. Naučí se agregovat augmentace těchto držených údajů a automaticky zvyšují obrázky způsobem, který maximalizuje přesnost předpovědí podkladového modelu.

Poté provozují konformní klasifikaci na nových předpovědích transformovaných TTA. Konformní klasifikátor vydává menší sadu pravděpodobných předpovědí pro stejnou záruku důvěry.

„Kombinace zvětšení testu s konformní predikcí je snadné implementovat, efektivní v praxi a nevyžaduje žádné rekvalifikace modelu,“ říká Shanmugam.

Ve srovnání s předchozí prací v konformní predikci napříč několika standardními benchmarky klasifikace obrázků jejich metoda TTA-AUGMENDED snížila velikosti predikce napříč experimenty, z 10% na 30%.

Důležité je, že tato technika dosahuje tohoto zmenšení velikosti sady predikce při zachování záruky pravděpodobnosti.

Vědci také zjistili, že i když obětují některá označená data, která by se normálně používala pro konformní klasifikační postup, TTA natolik zvyšuje přesnost, aby převažovala nad náklady na ztrátu těchto dat.

„Vyvolává zajímavé otázky o tom, jak jsme po tréninku modelu používali označená data. Přidělení označených dat mezi různými kroky po tréninku je důležitým směrem pro budoucí práci,“ říká Shanmugam.

V budoucnu chtějí vědci ověřit účinnost takového přístupu v souvislosti s modely, které klasifikují text místo obrázků. Pro další zlepšení práce vědci také zvažují způsoby, jak snížit množství výpočtu potřebného pro TTA.

Tento příběh je znovu publikován s laskavým svolením MIT News (web.mit.edu/newsoffice/), populární web, který zahrnuje zprávy o výzkumu, inovacích a výuce MIT.