Technika zobrazování mozku 4D řídí AI Audiovizuální analýzu

Když je sluch a vidění člověka nekompromisní a fungují na relativně vysoké úrovni, lidský mozek je schopen vzít různé památky a zvuky z jakéhokoli prostředí a hladce umožnit uvedenému člověku vnímat, co se kolem nich děje.

Ale jak to funguje? Upozornění spoileru: Je tu víc než jen o oko.

Nová studie vedená západními vědci odhaluje, jak mozek zpracovává vícesenzorické audiovizuální informace vyvíjením nové 4D zobrazovací techniky s časem jako čtvrtou dimenzi. Vědci se zaměřili na jedinečnou interakci, ke které dochází, když mozek zpracovává vizuální a sluchové vstupy současně.

Profesorka informatiky Yalda Mohsenzadeh a Ph.D. Student Yu (Brandon) Hused Funkční magnetická rezonance Zobrazování (fMRI) a elektroencefalogram (EEG) na účastnících studie k analýze jejich kognitivních reakcí na 60 videoklipy s odpovídajícími zvuky. Výsledky odhalily, že Primární vizuální kůra v mozku reaguje jak na vizuální i nízké úrovně, vstupy, zatímco Primární sluchová kůra V mozku zpracovává pouze sluchové informace.

Mohsenzadeh, odborník na AI a strojové učeníŘíká, že tato asymetrie nebo nerovnost v mozku má důsledky pro budování biologicky věrohodnějších multisenzorických neuronových sítí. Neuronová síť je metoda AI, která učí počítače ke zpracování dat.

„Původně byly neuronové sítě volně inspirovány lidským mozkem, ale dnes se AI nemusí nutně pokoušet napodobovat lidský mozek. Zaměřují se více na optimalizaci výsledků a souvisejících úkolů založených na špičkovém rámci AI,“ řekl Mohsenzadeh, hlavní člen fakulty pro neuroscience. „Máme zájem o zlepšení modelů AI tím, že pochopíme, jak mozek funguje, protože stále můžeme získat nějaké nové nápady z mozku. A měli bychom je použít.“

Zjištění, Publikováno v časopise Komunikační biologiebude pravděpodobně mít dopad na to, jak Umělá inteligence (AI) Algoritmy zpracovávají audiovizuální data postupující vpřed, protože mnoho programů v současné době analyzuje věci v reálném světě, jako jsou „kočky“, „pláže“ a „toustovače“ s obrázky a videem, ale ne zní.

„Skutečný“ svět stále inspiruje

Pro studii Mohsenzadeh a Hu představili účastníkům v MRI skeneru a relaci EEG řadu jednosekundových přírodních nastavení nebo reálného světa, aby shromáždily prostorové i časové informace o mozkové aktivitě.

Kombinace dvou technik zobrazování mozku (fMRI pro Prostorové informace a EEG pro časové rozlišení) vytvořil vysoce detailní 4D mapu nervových odpovědí na lidský mozek.

I když se jedná o důležité zjištění pro základní vědu, nová technika by měla také zlepšit modely AI tím, že ukazuje integraci smyslových informací s vizuálními informacemi, což poskytuje mnohem lepší výsledky.

„Náš mozek je optimalizován pro zpracování vizuálních informací. Skutečnost dobře zavedená v neurovědě,“ řekl Mohsenzadeh. „Mnoho studií také ukázalo, jak jsou sluchové informace zpracovávány v mozku, ale vize hraje dominantní roli při utváření vnímání. Chtěli jsme vidět, jak vizuální a sluchové kortice sdílejí informace, a je velmi zřejmé, že část našeho vizuálního zpracování mozku dělá těžké zvedání a shromažďování, jak více informací více informací, než část, která zpracovává zvuk.“

S tímto novým porozuměním a 4D mapou mozku se Mohsenzadeh a její tým v laboratoři kognitivní neurovědy a umělé inteligence budou snažit zlepšit hluboko Neuronová síť Modely, zejména ty, které jsou určeny k provádění audiovizuálních úkolů.