Technika ‚Mind-captioning‘ dokáže číst lidské myšlenky ze skenů mozku

Čtení mozkové aktivity pomocí pokročilých technologií není nový koncept. Většina technik se však zaměřila na identifikaci jednotlivých slov spojených s předmětem nebo akcí, kterou člověk vidí nebo na ně myslí, nebo na porovnávání mozkových signálů, které odpovídají mluveným slovům. Některé metody využívaly databáze titulků nebo hluboké neuronové sítě, ale tyto přístupy byly omezeny pokrytím databázových slov nebo zaváděnými informacemi, které v mozku nebyly přítomny. Generování podrobných, strukturovaných popisů komplexních vizuálních vjemů nebo myšlenek zůstává obtížné.

Studie, nedávno zveřejněno v Vědecké pokrokyzaujímá nový přístup. Výzkumníci zapojení do studie vyvinuli to, co označují jako techniku ​​“mind-captioning“, která využívá proces iterativní optimalizace, kde model maskovaného jazyka (MLM) generuje textové popisy zarovnáním textových prvků s funkcemi dekódovanými mozkem.

Technika také zahrnuje lineární modely trénované k dekódování sémantických rysů pomocí hlubokého jazykového modelu mozková činnost z funkční magnetické rezonance (fMRI). Výsledkem je podrobný textový popis toho, co účastník vidí ve svém mozku.

Generování video titulků z lidského vnímání

V první části experimentu sledovalo šest lidí 2 196 krátkých videí, zatímco jejich mozková aktivita byla skenována pomocí fMRI. Videa obsahovala různé náhodné objekty, scény, akce a události a šest subjektů byli rodilí japonští mluvčí a nerodilí mluvčí angličtiny.

Stejná videa dříve prošla druhem crowdsourcingu textových titulků jinými diváky, které byly zpracovány předem vyškoleným LM, nazvaným DeBERTa-large, který extrahoval konkrétní funkce. Tyto funkce byly přizpůsobeny mozkové aktivitě a text byl generován iterativním procesem pomocí modelu MLM, nazvaného RoBERTa-large.

„Zpočátku byly popisy roztříštěné a postrádaly jasný význam. Díky iterativní optimalizaci se však tyto popisy přirozeně vyvinuly tak, aby měly koherentní strukturu a efektivně zachycovaly klíčové aspekty sledovaných videí. Výsledné popisy přesně odrážely obsah, včetně dynamických změn ve sledovaných událostech. Navíc, i když konkrétní objekty nebyly správně identifikovány, popisy stále úspěšně vysvětlovaly přítomnost více objektů.“

Tým poté porovnal vygenerované popisy se správnými i nesprávnými titulky u různého počtu kandidátů, aby určil přesnost, která se podle nich pohybovala kolem 50 %. Poznamenávají, že tato úroveň přesnosti předčí ostatní současné přístupy a je příslibem budoucího zlepšení.

Čtení vzpomínek

Stejných šest účastníků bylo později požádáno, aby si vzpomněli na videa pod fMRI, aby otestovali schopnost metody číst paměť namísto vizuálního zážitku. Výsledky pro tuto část experimentu byly také slibné.

„Analýza úspěšně vygenerovala popisy, které přesně odrážely obsah svolávaných videí, i když přesnost se mezi jednotlivci lišila. Tyto popisy se více podobaly titulkům svolávaných videí než nerelevantním, přičemž zkušení jedinci dosahovali téměř 40% přesnosti při identifikaci svolávaných videí od 100 kandidátů,“ píší autoři studie.

Pro lidi, kteří mají sníženou nebo ztracenou schopnost mluvit, jako jsou ti, kteří prodělali mrtvici, by tato nová technologie mohla nakonec sloužit jako způsob, jak obnovit komunikaci. Skutečnost, že systém prokázal, že je schopen zachytit hlubší významy a vztahy namísto jednoduchých slovních asociací, by těmto jedincům mohla umožnit znovu získat mnohem více jejich komunikační schopnosti než některé jiné metody rozhraní mozek-počítač. Než se k tomuto bodu dostanete, je však nutná další optimalizace.

Etické úvahy a budoucí směřování

Bez ohledu na některé z pozitivnějších aplikací pro zařízení pro vytváření titulků mysli, která jsou schopna číst lidské myšlenky, jistě existují oprávněné obavy týkající se soukromí a možného zneužití technologie brain-to-text.

Výzkumníci zapojení do studie poznamenávají, že souhlas zůstane hlavním etickým hlediskem při používání technik čtení myšlenek. Než bude rozšířenější používání těchto technologií běžné, bude třeba vyřešit důležité otázky týkající se duševního soukromí a budoucnosti rozhraní mozek-počítač.

Studie přesto nabízí nový nástroj pro vědecký výzkum toho, jak mozek představuje komplexní zážitky a potenciální přínos pro neverbální jedince.

Autoři studie píší: „Náš přístup společně vyvažuje interpretovatelnost, generalizovatelnost a výkon – vytváří transparentní rámec pro dekódování neverbálních myšlenek do jazyka a připravuje půdu pro systematické zkoumání toho, jak je strukturovaná sémantika zakódována v lidském mozku.“

© 2025 Science X Network