L'interface cerveau-ordinateur peut traduire les pensées en discours

Les neuro-ingénieurs ont créé un nouveau système capable de traduire des pensées simples en discours reconnaissable, en utilisant l'intelligence artificielle et un synthétiseur de parole, selon une étude publiée mardi.

Une équipe de chercheurs basée à New York a été capable de reconstituer des mots en utilisant uniquement l'activité du cerveau, une innovation qui pourrait ouvrir la voie à des technologies contrôlées par le cerveau, telles que, par exemple, un smartphone capable de traduire vos pensées en messages texte.

Nima Mesgarani, professeure agrégée à l’Université de Columbia, a dirigé l’étude et raconte Inverse qu'il voit un grand potentiel pour aider à rétablir la parole chez les personnes en convalescence ou atteintes de sclérose latérale amyotrophique (SLA). Plus tard, ce type de technologie pourrait également ouvrir la voie aux smartphones connectés au cerveau, qui pourraient permettre aux utilisateurs d'envoyer des textos à l'aide de leur esprit, même si cela reste encore à faire. Son travail a été publié dans la revue Rapports scientifiques.

«L'une des motivations de ce travail… concerne les méthodes d'interaction homme-machine alternatives, telles qu'une éventuelle interface entre un utilisateur et un smartphone», a-t-il déclaré. "Cependant, cela est encore loin de la réalité, et pour le moment, les informations pouvant être extraites à l'aide de méthodes non invasives ne sont pas suffisantes pour une application d'interface cerveau-ordinateur."

Écoutez le discours généré par l'interface cerveau-ordinateur.

Pour développer cette nouvelle technique, Mesgarani et son collègue, le Dr Ashesh Dinesh Mehta de l'Institut de neuroscience Northwell Health Physician Partners, ont commencé par examiner l'activité cérébrale des patients atteints d'épilepsie. Ces patients avaient déjà des implants d'électrodes dans leur cerveau pour surveiller les crises, ce que Mesgarani et Mehta ont pu utiliser pour rassembler des données pour leurs recherches.

Le duo a demandé aux participants disposés à écouter les orateurs de réciter les nombres entre zéro et neuf, puis a enregistré les signaux du cerveau issus de cette interaction. Ensuite, ils ont formé un réseau de neurones - un programme imitant la structure des neurones dans le cerveau humain - afin de reconnaître les motifs dans les signaux et de les traduire en mots à la sonorité robotique à l’aide d’un synthétiseur de parole, appelé vocodeur.

Le résultat a été un bref extrait vocal de ce qui ressemble à Microsoft Sam, comptant de zéro à neuf. Ce qui est impressionnant, c’est la clarté du discours par rapport aux autres méthodes testées par les chercheurs. Il reste cependant beaucoup de travail à faire.

«Il faudra peut-être une décennie avant que cette technologie devienne disponible», déclare Mesgarani. «Nous avons besoin de plus de progrès à la fois dans les électrodes implantables biocompatibles à long terme et / ou dans les technologies de pointe dans les méthodes d'enregistrement neuronal non invasives. Nous avons également besoin de mieux comprendre la façon dont le cerveau représente la parole, afin d'affiner nos méthodes de décodage."

Les patients qui faisaient partie de cette étude, par exemple, ont tous été opérés du cerveau pour implanter des moniteurs d'électrocorticographie. Il s'agit d'un processus extrêmement invasif qui nécessite une chirurgie à cerveau ouvert, chose que la plupart des gens pourraient ne pas vouloir subir, même s'il était possible de rétablir certaines de leurs capacités de parole.

Pour le moment, cette étude a introduit une méthode de décodage des signaux du cerveau en parole. Si nous découvrons comment détecter avec précision l’activité cérébrale sans intervention chirurgicale, nous ferons un pas de plus vers une révolution de la thérapie de la parole, mais aussi vers la création de smartphones connectés au cerveau.

La recherche sur l'interface cerveau-ordinateur a suscité un intérêt renouvelé ces dernières années. En avril 2017, Facebook a annoncé qu'il travaillait sur une BCI lors de sa conférence annuelle F8. Et Elon Musk a annoncé en novembre 2018 que Neuralink, sa propre start-up BCI, était en train d'embaucher.

Abstrait

La reconstruction du stimulus auditif est une technique qui trouve la meilleure approximation du stimulus acoustique à partir de la population d’activités neurales évoquée. La reconstruction de la parole à partir du cortex auditif humain crée la possibilité pour un neuroprothésiste de la parole d'établir une communication directe avec le cerveau et s'est avérée possible dans des conditions à la fois évidentes et secrètes. Cependant, la faible qualité de la parole reconstruite a sérieusement limité l'utilité de cette méthode pour les applications d'interface cerveau-ordinateur (BCI). Pour faire progresser la neuroprothèse de la parole à la pointe de la technologie, nous avons combiné les progrès récents de l’apprentissage en profondeur aux dernières innovations en matière de technologies de synthèse de la parole afin de reconstruire la parole intelligible à partir du cortex auditif humain. Nous avons étudié la dépendance de la précision de la reconstruction à l’égard des méthodes de régression linéaire et non linéaire (réseau neuronal profond) et de la représentation acoustique utilisée comme cible de la reconstruction, y compris le spectrogramme auditif et les paramètres de synthèse de la parole. De plus, nous avons comparé la précision de reconstruction des gammes de fréquences neuronales basses et élevées. Nos résultats montrent qu’un modèle de réseau neuronal profond qui estime directement les paramètres d’un synthétiseur de parole à partir de toutes les fréquences neuronales atteint les scores subjectifs et objectifs les plus élevés pour une tâche de reconnaissance numérique, améliorant ainsi l’intelligibilité de 65% par rapport à la méthode de référence utilisant la régression linéaire. reconstruire le spectrogramme auditif. Ces résultats démontrent l’efficacité des algorithmes d’apprentissage approfondi et de synthèse vocale pour la conception de la prochaine génération de systèmes BCI de parole, qui non seulement permettent de rétablir les communications pour les patients paralysés, mais ont également le potentiel de transformer les technologies d’interaction homme-machine.

Vidéo connexe: Des robots de détection des ondes cérébrales peuvent servir d'extensions du corps humain