Umělé neuronové sítě se učí lépe, když jsou trénovány s biologickými údaji

Schopnost přesně předpovídat pohyby je nezbytná nejen pro lidi a zvířata, ale také pro mnoho aplikací AI – od autonomní jízdy po robotiku. Vědci z Technické univerzity v Mnichově (TUM) nyní zjistili, že umělé neuronové sítě mohou tento úkol plnit lépe, když jsou vyškoleni s biologickými údaji z raného vývoje vizuálního systému.

Ať už u myší, koček nebo lidí: Ještě předtím, než obratlovci otevírají oči, začíná vestavěný tréninkový program v sítnici – zcela nezávislý na vnějších podnětech. Spontánní vzorce aktivity se šíří ve vlnových pohybech přes nervovou tkáň oka. Tato nervová aktivita, známá jako „sítnicové vlny“, koordinuje včasné zapojení mezi sítnicí a vizuálním systémem mozku. Svým způsobem začne oko praktikovat vizi, než se setká s skutečným světem.

Vědci v TUM nyní ukázali, že umělé neuronové sítě – které napodobují funkci mozku – mohou také těžit z tohoto druhu předškolení.

Umělé neuronové sítě jsou obvykle vyškoleny pomocí dat, která se velmi podobá úkolu, který má za cíl vykonávat. Při pohledu na analogii s tím, jak se vizuální systém vyvíjí v živých organismech, jejich proces učení začíná pouze tehdy, když se oči otevře. Inspirovali jsme se přírodou a začlenili jsme předškolní fázi, analogickou v biologickém vizuálním systému, do tréninku neuronových sítí. “

Julijana Gjorgjieva, profesor výpočetní neurovědy v Tum

Předškolení vede k rychlejším a přesnějším předpovědím

V prvním kroku tým zkoumal, zda školení s vlnami sítnice má jakýkoli dopad na výkon neuronové sítě. Za tímto účelem trénovali různé sítí různými způsoby: jedna skupina sítí podstoupila před tréninkem pomocí dat sítnice z myši. Poté byly tyto sítě vyškoleny pomocí animovaného filmu simulujícího perspektivu myši procházející úzkou chodbou lemovanou různými geometrickými vzory. Další skupina sítí byla vyškolena pouze pomocí animovaného filmu – bez předběžného tréninku.

Úkol byl stejný pro všechny sítě: museli přesně předpovídat, jak by se vizuální vzorce na stěně simulovaného koridoru vyvíjely. Sítě předem vyškolené s vlnami sítnice provedly úkol rychleji a přesněji než sítě bez takového předškolního tréninku. Abychom vyloučili možnost, že lepší výkon byl jednoduše kvůli delšímu období tréninku, provedli vědci další kolo experimentů, ve kterých zkrátili čas strávený tréninkem předem vyškolených sítí na animaci. To zajistilo, že všechny sítě měly stejnou celkovou dobu tréninku. Dokonce i tehdy předem vyškolené sítě překonaly ostatní rychlostí i přesností.

Lepší výkon i se záběry v reálném světě

V posledním kroku tým zvýšil úroveň obtížnosti. Trénovali sítě pomocí záběrů z reálného světa zachyceného z pohledu roamingové kočky s akční kamerou, která ukazuje, co kočka vidí. Kvalita videa byla nižší než v animaci a pohyby byly složitější. Přesto opět sítě, které byly předem vyškoleny vlnami sítnice, překonal všechny ostatní.