Vědci rekonstruují píseň Pink Floyd pomocí lidské mozkové aktivity

Týmu vědců se nedávno podařilo rekonstruovat píseň Pink Floyd z živých lidských nervových nahrávek pomocí prediktivního modelování. Tento převratný úspěch demonstruje potenciál technik prediktivního modelování dekódovat komplexní mozkovou aktivitu a převést ji do smysluplných informací. Jejich zjištění, publikovaná v Jedno plusPoskytuje také cenné poznatky o tom, jak lidský mozek zpracovává hudbu.

Pro jedince s onemocněními, jako je amyotrofická laterální skleróza, mrtvice nebo paralýza, může být komunikace obtížná. Současná rozhraní mozek-stroj často produkují automatizovanou řeč. Vědci chtěli prozkoumat, zda lze mozkovou aktivitu související s hudbou použít ke zvýšení přirozenosti a expresivity řeči generované rozhraním mozek-počítač, což by pomohlo lidem s komunikačními potížemi.

„Hudba je nezbytnou součástí lidské zkušenosti, takže pochopení toho, jak náš mozek podporuje vnímání hudby, má zásadní význam,“ vysvětlil autor studie Ludovic Bellier, vedoucí počítačový výzkumný pracovník společnosti Inscopix. „Na straně aplikace byla tato data shromážděna jako součást širokého úsilí o vývoj rozhraní pro dekódování řeči mezi mozkem a počítačem (BCI) s myšlenkou, že pochopením neurálního kódu pro zpracování hudby pak můžeme zahrnout prozodické prvky (melodii a rytmus řeči) v Odstraňte řeč z těchto BCI a nechte ji znít méně roboticky a přirozeněji, s intonací a emocemi.

Studie zahrnovala 29 pacientů s farmakorezistentní epilepsií, kteří měli elektroencefalografické (iEEG) elektrody implantované do mozku pro lékařské účely. Tyto elektrody byly použity k přímému záznamu elektrické aktivity mozkových buněk pacientů.

Tito pacienti poslouchali píseň Pink Floyd „Another Brick in the Wall, Part 1.“ Zatímco poslouchali hudbu, elektrody iEEG zaznamenávaly nervovou aktivitu v jejich mozku v reálném čase. Vědci použili prediktivní modely k odhadu, jak by zněla píseň Pink Floyd na základě vzorců nervové aktivity zaznamenané elektrodami. Tento přístup zahrnuje vytváření matematických modelů, které mohou předpovídat nebo odhadovat jednu věc na základě druhé.

Prediktivní modely byly trénovány tak, aby spojovaly specifické vzorce nervové aktivity s odpovídajícími částmi písně. V podstatě se modely naučily vztah mezi mozkovou aktivitou a hudbou. Jakmile byly modely trénovány, byly aplikovány na zaznamenaná neurální data, aby se vytvořily předpovědi o tom, jak by měla hudba znít.

Pomocí těchto prediktivních modelů byli vědci schopni rekonstruovat píseň Pink Floyd na základě neurálních nahrávek. Jinými slovy, převedli elektrické signály z mozků pacientů do slyšitelné hudby, která se velmi podobala původní písni.

„Můžeme rekonstruovat rozpoznatelnou píseň z nervové aktivity generované poslechem písně,“ řekl Bellaire PsyPost. „Ukazuje to proveditelnost dekódování hudby pomocí relativně malého množství dat (3 minuty, desítky elektrod), čímž dláždí cestu k vkládání tónů do dekodérů řeči. Dále jsme kvantifikovali nervovou dynamiku vnímání hudby a demonstrovali duální zpracování prostřednictvím dominance pravé hemisféry, a ukázka existence nové kortikální podoblasti naladěné na hudební rytmus.

Bylo zjištěno, že vnímání hudby závisí na obou hemisférách mozku, ale preferovala se hemisféra pravá. Pravá hemisféra měla vyšší podíl elektrod s velkými účinky, vyšší přesnost predikce a větší vliv na dekódovací modely, když byly elektrody odstraněny. To potvrdilo předchozí výzkum naznačující, že existuje skutečný relativní aspekt vnímání hudby.

Vědci identifikovali superior temporal gyrus (STG) jako primární oblast mozku zapojenou do vnímání hudby. Podařilo se jim úspěšně rekonstruovat rozpoznatelnou skladbu pomocí dat od jednoho pacienta, který měl 61 elektrod umístěných speciálně v této oblasti.

Kromě toho vědci klasifikovali elektrody do různých kategorií na základě jejich funkčních vlastností. Kontinuální elektrody pravděpodobně zaznamenávají nervové signály související s trvalými nebo prodlouženými aspekty hudby, zatímco elektrody pro správný rytmus jsou spojeny s rytmickými aspekty hudby, možná zachycují načasování a informace související s rytmem.

Selektivní odstranění 167 udržovaných elektrod z dekódovacího modelu významně neovlivnilo přesnost rekonstrukce písně. Na druhou stranu odstranění 43 správných rytmických pólů mělo výrazně negativní vliv na přesnost rekonstrukce písně. To naznačuje, že nervové signály spojené s rytmickými aspekty hudby, jak je zachycují tyto elektrody, hrály klíčovou roli v přesné rekonstrukci písně.

„Překvapila nás skutečnost, že odstranění všech 167 ‚trvalých‘ elektrod z dekódovacích modelů neovlivnilo přesnost dekódování (zatímco odstranění pouze 43 ‚správných‘ rytmických elektrod),“ vysvětlil Belier. „Skutečně to ukazuje, že počet elektrod Není to samo o sobě to, co řídí výkon modelu, ale spíše sluchové informace reprezentované v zaznamenané nervové aktivitě, stejně jako umístění těchto elektrod; Kvalita nad kvantitou, abych tak řekl.

Výzkum může přispět k vývoji pokročilých rozhraní mozek-stroj, která jednotlivcům umožní efektivněji komunikovat začleněním hudebních prvků do řečového výstupu.

„Je to skvělý výsledek.“ Řekl Robert Knight, profesor psychologie na UC Berkeley na Helen Wills Neuroscience Institute a spoluautor studie. „Jednou z věcí pro mě na hudbě je to, že má poetický a emocionální obsah. A jak se celá tato oblast rozhraní mozek-stroj rozvíjí, dává vám to způsob, jak přidat hudbu k budoucím mozkovým implantátům pro lidi, kteří ji potřebují, nebo někoho jiného.“ s ALS nebo čímkoli Další zneschopňující neurologická nebo vývojová porucha, která ovlivňuje produkci řeči.

„Dává vám to schopnost dekódovat nejen jazykový obsah, ale i část prozodického obsahu řeči, část afektů. Myslím, že to je to, co skutečně začínáme dekódovat.“

K výhradám studie Belair řekl: „Při zpětném pohledu bychom rádi shromáždili informace o tom, jak dobře pacienti znali skladbu Pink Floyd, a co je důležitější, jaké bylo jejich hudební pozadí. S těmito informacemi bychom mohli odpovědět na zajímavé otázky, např. jako zda nervová aktivita Pro hudebníky to má za následek vyšší přesnost dekódování při rekonstrukci skladby.

„Rádi bychom vyjádřili naši vděčnost pacientům, kteří se dobrovolně zúčastnili naší studie, zejména proto, že podstupovali obtížný neurochirurgický zákrok,“ dodal Belair. „Bez nich by tento výzkum nebyl možný a ne každý den se dozvídají o výzkumu, na kterém se podíleli, takže to bude hezké gesto.“

studie, „Hudbu lze rekonstruovat z činnosti lidské sluchové kůry pomocí modelů nelineárního dekódováníkterou napsali Ludovic Pellet, Anais Laurens, Deborah Marciano, Aysegul Gunduz, Jeroen Schalk, Peter Brunner a Robert T. Knight.