Foto: Freepik
Nová studie analyzovala data z 29 lidí, kteří již byli monitorováni kvůli epileptickým záchvatům pomocí elektrod velikosti poštovní známky umístěných přímo na povrchu mozku. Když účastníci poslouchali píseň skupiny Pink Floyd z roku 1979 s názvem „Another Brick in the Wall, Part 1“, elektrody zachytily elektrickou aktivitu několika mozkových oblastí citlivých na hudební prvky, jako jsou tón, rytmus, harmonie a text. Vědci následně pomocí strojového učení rekonstruovali zkreslený, ale charakteristický zvuk toho, co účastníci slyšeli.
Neurovědci desítky let pracovali na dekódování toho, co lidé vidí, slyší nebo si myslí pouze z mozku. V roce 2012 tým, který zahrnoval hlavního autora nové studie – kognitivního neurovědce Roberta Knighta z Kalifornské univerzity v Berkeley, se stal prvním, kdo úspěšně zrekonstruoval zvukové záznamy slov, která účastníci slyšeli, když nosili implantované elektrody.
„Tyto vzrušující zjištění navazují na předchozí práci s rekonstrukcí obyčejné řeči z mozkové aktivity,“ říká Shailee Jain, neurovědkyně na Kalifornské univerzitě v San Franciscu, která se na novém výzkumu nepodílela. „Nyní jsme schopni skutečně proniknout do mozku a objevit podstatu zvuku.“
Aby výzkumníci vytvořili hudební zvuky na základě dat o mozkové aktivitě, trénovali model umělé inteligence na dešifrování dat zachycených tisíci elektrodami připojenými k účastníkům během poslechu písně skupiny Pink Floyd během chirurgického zákroku.
Proč tým zvolil právě skupinu Pink Floyd „Another Brick in the Wall, Part 1“? „Vědeckým důvodem, který zmíníme v článku, je to, že píseň je velmi vrstevnatá. Obsahuje složité akordy, různé nástroje a různé rytmické prvky, které ji činí zajímavou k analýze,“ říká Ludovic Bellier, kognitivní neurovědec a hlavní autor studie. „Méně vědeckým důvodem může být, že Pink Floyd máme opravdu rádi.“
Model umělé inteligence analyzoval vzory v mozku reagující na různé složky akustického profilu písně, rozkládající změny v tónu a rytmu. Poté jiný model umělé inteligence tuto rozloženou kompozici znovu sestavil, aby odhadl zvuky, které pacienti slyšeli. Jakmile byla data z mozku zpracována modelem, hudba se vrátila. Její melodie byla zhruba nedotčená a text byl zkreslený, ale rozpoznatelný, pokud jste věděli, na co se zaměřit: „Celkově to byla jen cihla ve zdi.“
Model také odhalil, které části mozku reagovaly na různé hudební prvky písně. Výzkumníci zjistili, že některé části zvukového zpracovatelského centra mozku reagují na začátek hlasu nebo syntetizátoru, zatímco jiné části vibrují k ustáleným hučením.
I když tento projekt byl zaměřený na hudbu, výzkumníci očekávají, že jejich výsledky budou nejúčinnější při překladu mozkových vln do lidské řeči. Bez ohledu na jazyk obsahuje řeč melodické nuance, včetně tempa, důrazu, přízvuku a intonace. Vědecký tým doufá, že tento model zlepší rozhraní mezi mozkem a počítačem, asistenční zařízení, která zaznamenávají mozkové vlny spojené s řečí a používají algoritmy k rekonstrukci zamýšlených zpráv. Tato technologie je stále v plenkách, než aby mohla pomoci lidem, kteří ztratili schopnost mluvit kvůli stavům, jako je mrtvice nebo paralýza.
Předtím než tuto technologii budeme moci dostat do rukou – nebo možná spíše do mozku – pacientů, je ještě několik překážek. Model se totiž spoléhá na elektrické záznamy odebrané přímo z povrchu mozku. Jak se techniky záznamu mozku zlepšují, může být možné tato data shromažďovat bez chirurgických implantátů – možná pomocí ultracitlivých elektrod připevněných na skalp. Druhá technologie může být použita k identifikaci jednotlivých písmen, která si účastníci představují v hlavě, ale proces trvá asi 20 sekund na písmeno – vůbec nepřibližuje rychlosti přirozené řeči, která se pohybuje kolem 125 slov za minutu.
Výzkumníci doufají, že zpřesní zkreslené přehrávání hudby tak, aby bylo srozumitelnější, tím, že elektrody umístí blíže k sobě na povrchu mozku, což umožní ještě podrobnější pohled na elektrickou symfonii, kterou mozek vytváří. V loňském roce tým na Kalifornské univerzitě v San Diegu vyvinul hustě uspořádanou elektrodovou síť, která poskytuje informace o mozkových signálech s rozlišením, které je 100krát vyšší než u stávajících zařízení.
Zdroj: NYTimes.com (odkaz)
