En utilisant uniquement des enregistrements cérébraux de patients, les scientifiques reconstruisent une chanson de Pink Floyd

Des scientifiques reconstruisent une chanson de Pink Floyd en utilisant les enregistrements cérébraux des patients.

Les célèbres paroles de Pink Floyd émergent d’un son boueux mais musical :

“Après tout, ce n’était qu’une brique dans le mur.”

Mais cet enregistrement particulier ne provient ni de l’album de 1979 “The Wall” ni d’un concert de Pink Floyd.

Au lieu de cela, les chercheurs l’ont créé à partir des ondes cérébrales reconstituées de personnes écoutant la chanson “Another Brick in the Wall, Part 1”.

• Les hospitalisations liées à la COVID-19 augmentent pour la quatriè...
• Qui a le COVID ? Les chiens peuvent le détecter rapidement
• Douleur après une crise cardiaque peut prédire la survie à long terme

C’est la première fois que des chercheurs reconstruisent une chanson reconnaissable uniquement à partir d’enregistrements cérébraux, selon un nouveau rapport publié le 15 août dans la revue PLOS Biology.

Ultimement, l’équipe de recherche espère que leurs découvertes permettront d’obtenir une parole plus naturelle grâce à des interfaces cerveau-machine qui facilitent la communication avec les personnes “emprisonnées” par la paralysie et incapables de parler.

“Actuellement, lorsque nous utilisons seulement des mots, c’est robotique”, a déclaré le chercheur principal, le Dr Robert Knight, professeur de psychologie et de neurosciences à l’Université de Californie à Berkeley.

Pensez à la parole informatique associée à l’un des patients les plus célèbres “emprisonnés”, Stephen Hawking.

La parole humaine est composée de mots, mais elle a aussi une musicalité, a déclaré Knight, avec des personnes ajoutant différentes significations et émotions en fonction de concepts musicaux tels que l’intonation et le rythme.

“La musique est universelle. Elle existait probablement dans les cultures avant le langage”, a déclaré Knight. “Nous aimerions fusionner ce signal d’extraction musicale avec le signal d’extraction de mots, pour obtenir une interface plus humaine.”

Des électrodes implantées dans le cerveau des patients ont capturé l’activité électrique des régions cérébrales connues pour traiter les attributs de la musique – le ton, le rythme, l’harmonie et les mots – pendant que les chercheurs diffusaient un extrait de trois minutes de la chanson.

Ces enregistrements ont été réalisés auprès de 29 patients en 2012 et 2013. Tous les patients souffraient d’épilepsie et les chirurgiens ont implanté les électrodes pour aider à déterminer la région cérébrale précise à l’origine de leurs crises, a expliqué Knight.

“Alors qu’ils sont à l’hôpital en attente de trois crises [pour localiser l’emplacement des crises], nous pouvons réaliser des expériences comme celles-ci si les patients sont d’accord”, a expliqué Knight.

À partir de 2017, les chercheurs ont commencé à alimenter ces ondes cérébrales enregistrées dans un ordinateur programmé pour analyser les données.

Finalement, l’algorithme est devenu suffisamment intelligent pour décoder l’activité cérébrale et reproduire la chanson de Pink Floyd que les patients avaient entendue des années plus tôt.

“Cette étude représente une avancée dans la compréhension de la neuroanatomie de la perception musicale”, a déclaré le Dr Alexander Pantelyat, neurologue spécialisé dans les troubles du mouvement, violoniste et directeur du Centre pour la musique et la médecine de l’Université Johns Hopkins. Pantelyat n’a pas participé à la recherche.

“La précision de la détection sonore doit être améliorée à l’avenir et il n’est pas clair si ces découvertes seront directement applicables au décodage des éléments prosodiques de la parole – le ton, l’intonation, l’humeur”, a déclaré Pantelyat.

“Cependant, ces premières découvertes offrent l’espoir d’améliorer la qualité de la détection du signal pour les interfaces cerveau-ordinateur en ciblant le gyrus temporal supérieur”, a ajouté Pantelyat. “Cela offre de l’espoir pour les patients confrontés à des problèmes de communication dus à diverses maladies neurologiques telles que la SLA [sclérose latérale amyotrophique] ou les traumatismes crâniens.”

En fait, les résultats ont montré que les régions auditives du cerveau pourraient constituer une meilleure cible en termes de reproduction de la parole, a déclaré Ludovic Bellier, chercheur principal et boursier postdoctoral à l’Institut de neurosciences Helen Wills de l’UC Berkeley.

De nombreuses tentatives antérieures de reproduction de la parole à partir des ondes cérébrales se sont concentrées sur le cortex moteur, la partie du cerveau qui génère les mouvements de la bouche et des cordes vocales utilisés pour créer l’acoustique de la parole, a déclaré Bellier.

“Actuellement, la technologie ressemble plus à un clavier pour l’esprit”, a déclaré Bellier dans un communiqué de presse. “Vous ne pouvez pas lire vos pensées à partir d’un clavier. Vous devez appuyer sur les boutons. Et cela produit une voix plutôt robotique ; il y a moins de ce que j’appelle la liberté expressive.”

Bellier lui-même est musicien depuis son enfance, ayant même joué dans un groupe de heavy metal à un moment donné.

À l’aide des enregistrements cérébraux, Bellier et ses collègues ont également pu identifier de nouvelles zones du cerveau impliquées dans la détection du rythme. De plus, différentes zones de la région auditive ont réagi à différents sons, tels que les notes de synthétiseur par rapport aux voix soutenues.

Les enquêteurs ont confirmé que le côté droit du cerveau est plus sensible à la musique que le côté gauche, a déclaré Knight.

À ce stade, la technologie n’est pas suffisamment avancée pour permettre aux gens de reproduire cette qualité de parole à l’aide de lectures EEG prises du cuir chevelu, a déclaré Knight. Des implants d’électrodes sont nécessaires, ce qui signifie une chirurgie invasive.

DIAPORAMA

“Le signal que nous enregistrons s’appelle une activité à haute fréquence, et il est très robuste sur le cortex, d’environ 10 microvolts”, a déclaré Knight. “Mais il y a une chute de 10 fois une fois qu’il atteint le cuir chevelu, ce qui signifie qu’il est d’un microvolt, ce qui se situe dans le niveau de bruit de l’activité musculaire du cuir chevelu.”

De meilleures électrodes sont également nécessaires pour permettre une reproduction de la parole de qualité, a ajouté Knight. Il a noté que les électrodes utilisées étaient espacées de 5 millimètres, et des signaux bien meilleurs peuvent être obtenus si elles sont espacées de 1,5 millimètre.

“Ce dont nous avons vraiment besoin, ce sont des grilles de densité plus élevée, car pour toute approche d’apprentissage automatique, c’est la quantité de données que vous mettez sur une période donnée”, a déclaré Knight. “Nous étions limités à 64 points de données sur 3 minutes. Si nous avions 6 000 sur 6 minutes, la qualité de la chanson serait, je pense, incroyable.”

Knight a déclaré que son équipe venait de recevoir une subvention pour étudier des patients atteints d’aphasie de Broca, un type de trouble cérébral qui interfère avec la capacité de parler.

“Ces patients ne peuvent pas parler, mais ils peuvent chanter”, a déclaré Knight. Ce qui a été appris dans cette étude pourrait aider l’équipe à mieux comprendre pourquoi les personnes atteintes de ces lésions peuvent chanter ce qu’elles ne peuvent pas dire.

Plus d’informations

La Cleveland Clinic propose plus d’informations sur le syndrome d’enfermement.

SOURCES : Robert Knight, MD, professeur de psychiatrie et de neurosciences, Université de Californie, Berkeley ; Alexander Pantelyat, MD, neurologue spécialisé dans les troubles du mouvement, violoniste et directeur du Centre de musique et de médecine de Johns Hopkins, Baltimore ; Ludovic Bellier, PhD, chercheur postdoctoral, Helen Wills Neuroscience Institute, Université de Californie, Berkeley ; PLOS Biology, 15 août 2023