La production de la parole est un phénomène neuronal complexe qui a laissé les chercheurs sans voix. Séparer le réseau complexe de régions neuronales contrôlant les mouvements musculaires précis de la bouche, de la mâchoire et de la langue avec les régions traitant le retour auditif de l’audition de votre propre voix est un problème complexe qui doit être surmonté pour la prochaine génération de parole. fabriquer des prothèses.
Aujourd’hui, une équipe de chercheurs de l’Université de New York a fait des découvertes clés qui aident à démêler ce réseau et l’utilisent pour développer une technologie de reconstruction vocale qui recrée les voix de individuals qui ont perdu la capacité de parler.
L’équipe, co-dirigée par Adeen Flinker – professeur agrégé de génie biomédical à NYU Tandon et de neurologie à la NYU Grossman School of Medication – et Yao Wang – professeur de génie biomédical et de génie électrique et informatique à NYU Tandon, ainsi que un membre de NYU Wi-fi – a créé et utilisé des réseaux neuronaux complexes pour recréer la parole à partir d’enregistrements cérébraux, puis a utilisé cette recréation pour analyser les processus qui déterminent la parole humaine. Ils ont détaillé leurs nouvelles découvertes dans un nouvel post publié dans les Actes de l’Académie nationale des sciences (PNAS).
La production de la parole humaine est un comportement complexe qui implique un contrôle anticipé des commandes motrices ainsi qu’un traitement par rétroaction de la parole auto-produite. Ces processus nécessitent l’engagement de plusieurs réseaux cérébraux en tandem. Cependant, il a été difficile de dissocier le degré et le moment du recrutement cortical pour le contrôle moteur du traitement sensoriel généré par la production de la parole.
Dans un nouvel short article, les chercheurs ont réussi à démêler les processus complexes de rétroaction et de rétroaction lors de la generation vocale. Utilisant une architecture innovante d’apprentissage en profondeur sur des enregistrements neurochirurgicaux humains, l’équipe a utilisé un synthétiseur vocal différenciable basé sur des règles pour décoder les paramètres vocaux des signaux corticaux. En mettant en œuvre des architectures de réseaux neuronaux qui font la distinction entre les convolutions causales (en utilisant des signaux neuronaux actuels et passés pour décoder la parole actuelle), anticausales (en utilisant des signaux neuronaux actuels et futurs) ou une combinaison des deux convolutions temporelles (non causales), les chercheurs ont pu analyser méticuleusement les contributions du feedforward et du responses dans la output vocale.
« Cette approche nous a permis de démêler le traitement des signaux neuronaux de rétroaction et de rétroaction qui se produisent simultanément pendant que nous produisons une rétroaction vocale et sensorielle de notre propre voix », explique Flinker.
Cette approche de pointe a non seulement décodé les paramètres de parole interprétables, mais a également fourni un aperçu des champs récepteurs temporels des régions corticales recrutées. Remarquablement, les résultats remettent en query les notions dominantes qui séparent les réseaux corticaux de rétroaction et de rétroaction. Les analyses ont dévoilé une architecture nuancée de traitement mixte de rétroaction et de rétroaction, couvrant les cortex frontaux et temporels. Cette nouvelle perspective, combinée à des performances exceptionnelles de décodage de la parole, marque un pas en avant significatif dans notre compréhension des mécanismes neuronaux complexes qui sous-tendent la manufacturing de la parole.
Les chercheurs ont utilisé cette nouvelle viewpoint pour éclairer leur propre développement de prothèses capables de lire l’activité cérébrale et de la décoder directement en parole. Alors que de nombreux chercheurs travaillent au développement de tels dispositifs, le prototype de NYU présente une différence essentielle : il est capable de recréer la voix du patient, en utilisant uniquement un petit ensemble de données d’enregistrement, à un degré remarquable. Le résultat peut être que les individuals ne retrouvent pas leur voix après l’avoir perdue – ils retrouveront leur voix. Cela est dû à un réseau neuronal profond qui prend en compte un espace auditif latent et peut être entraîné sur seulement quelques échantillons d’une voix individuelle, comme une vidéo YouTube ou un enregistrement Zoom.
Afin de collecter les données, les chercheurs se sont tournés vers un groupe de clients souffrant d’épilepsie réfractaire, actuellement incurable par médicaments. Ces people ont une grille d’électrodes EEG sous-durales implantées dans leur cerveau pendant une période d’une semaine pour surveiller leur état, et ont consenti à 64 électrodes moreover petites supplémentaires entrelacées entre les électrodes cliniques régulières. Ils ont fourni aux chercheurs des informations clés sur l’activité cérébrale pendant l’acte de creation de la parole.
Outre Flinker et Wang, les chercheurs comprennent Ran Wang, Xupeng Chen et Amirhossein Khalilian-Gourtani du département de génie électrique et informatique de NYU Tandon, Leyao Yu du département de génie biomédical, Patricia Dugan, Daniel Friedman et Orrin Devinsky du département de neurologie de NYU Grossman. Département et Werner Doyle du département de neurochirurgie.
Cet post est le résultat d’une subvention de 850 000 $ de la NSF visant à développer des décodeurs neuronaux pour le traitement du langage et le développement de modèles de connectivité dirigée, ainsi que des subventions R01NS109367, R01NS115929 et R01DC018805 du NIH. Désormais, les chercheurs ont gagné 950 000 $ supplémentaires pour poursuivre ce travail, financés conjointement par le programme NSF Collaborative Analysis in Computational Neuroscience (CRCNS) et le Disabilities and Rehabilitation Engineering System (DARE). Les fonds soutiendront le développement d’approches informatiques qui permettront une compréhension furthermore approfondie de la neurobiologie du langage et se traduiront par de nouvelles applications cliniques pour la parole et le langage.
