Le cerveau analyse le langage parlé en reconnaissant les syllabes. Des scientifiques de l’Université de Genève (UNIGE) et du Centre nationwide de compétence en recherche pour la langue en évolution (NCCR) ont conçu un modèle informatique qui reproduit le mécanisme complexe utilisé par le système nerveux central pour effectuer cette opération. Le modèle, qui rassemble deux cadres théoriques indépendants, utilise l’équivalent des oscillations neuronales produites par l’activité cérébrale pour traiter le flux sonore continu de la parole connectée. Le modèle fonctionne selon une théorie connue sous le nom de codage prédictif, selon laquelle le cerveau optimise la notion en essayant constamment de prédire les signaux sensoriels sur la base d’hypothèses candidates (syllabes dans ce modèle). Le modèle résultant, décrit dans la revue Character Communications, a aidé à la reconnaissance en immediate de milliers de syllabes contenues dans des centaines de phrases parlées en langage naturel. Cela a validé l’idée que les oscillations neuronales peuvent être utilisées pour coordonner le flux de syllabes que nous entendons avec les prédictions faites par notre cerveau.

« L’activité cérébrale produit des oscillations neuronales qui peuvent être mesurées par électroencéphalographie », start Anne-Lise Giraud, professeure au Département de neurosciences fondamentales de la Faculté de médecine de l’UNIGE et codirectrice du NCCR Evolving Language. Ce sont des ondes électromagnétiques qui résultent de l’activité électrique cohérente de réseaux entiers de neurones. Il en existe plusieurs sorts, définis en fonction de leur fréquence. Ils sont appelés ondes alpha, bêta, thêta, delta ou gamma. Pris individuellement ou superposés, ces rythmes sont liés à différentes fonctions cognitives, telles que la notion, la mémoire, l’attention, la vigilance, and so on.

Un modèle informatique décode la parole en la prédisant

Cependant, les neuroscientifiques ne savent pas encore s’ils contribuent activement à ces fonctions et remark. Dans une étude antérieure publiée en 2015, l’équipe du professeur Giraud a montré que les ondes thêta (basse fréquence) et gamma (haute fréquence) se coordonnent pour séquencer le flux sonore en syllabes et analyser leur contenu afin de les reconnaître.

Les scientifiques basés à Genève ont développé un modèle informatique de réseau de neurones à pointes basé sur ces rythmes physiologiques, dont les performances dans le séquençage des syllabes vivantes (en ligne) étaient meilleures que celles des systèmes traditionnels de reconnaissance automatique de la parole.

Le rythme des syllabes

Dans leur leading modèle, les ondes thêta (entre 4 et 8 Hertz) permettaient de suivre le rythme des syllabes telles qu’elles étaient perçues par le système. Des ondes gamma (environ 30 Hertz) ont été utilisées pour segmenter le sign auditif en tranches furthermore petites et les coder. Il en résulte un profil « phonémique » lié à chaque séquence sonore, qui pourrait être comparé, a posteriori, à une bibliothèque de syllabes connues. Un des avantages de ce style de modèle est qu’il s’adapte spontanément à la vitesse de parole qui peut varier d’un individu à l’autre.

Codage prédictif

Dans ce nouvel posting, pour rester au plus près de la réalité biologique, le professeur Giraud et son équipe ont développé un nouveau modèle où ils intègrent des éléments d’un autre cadre théorique, indépendant des oscillations neuronales: le «codage prédictif». « Cette théorie soutient que le cerveau fonctionne de manière optimale car or truck il essaie constamment d’anticiper et d’expliquer ce qui se passe dans l’environnement en utilisant des modèles appris de la façon dont les événements extérieurs génèrent des signaux sensoriels. Dans le cas du langage parlé, il essaie de trouver le additionally les causes probables des sons perçus par l’oreille lorsque la parole se déroule, sur la foundation d’un ensemble de représentations mentales qui ont été apprises et qui sont actualisées en permanence. « , explique le Dr Itsaso Olasagasti, neuroscientifique en informatique dans l’équipe de Giraud, qui a supervisé la mise en œuvre d’un nouveau modèle.

«Nous avons développé un modèle informatique qui simule ce codage prédictif», explique Sevada Hovsepyan, chercheur au Département des neurosciences de base et leading auteur de l’article. « Et nous l’avons implémenté en incorporant des mécanismes oscillatoires. »

Testé sur 2888 syllabes

Le son entrant dans le système est d’abord modulé par une onde thêta (lente) qui ressemble à ce que produisent les populations de neurones. Il permet de signaler les contours des syllabes. Des trains d’ondes gamma (rapides) aident ensuite à coder la syllabe au fur et à mesure qu’elle est perçue. Au cours du processus, le système suggère des syllabes possibles et corrige le choix si nécessaire. Après plusieurs allers-retours entre les deux niveaux, il découvre la bonne syllabe. Le système est ensuite remis à zéro à la fin de chaque syllabe perçue.

Le modèle a été testé avec succès en utilisant 2 888 syllabes différentes contenues dans 220 phrases, parlées en langue naturelle en anglais. «D’une aspect, nous avons réussi à réunir deux cadres théoriques très différents dans un même modèle informatique», explique le professeur Giraud. «De l’autre, nous avons montré que les oscillations neuronales alignent très probablement rythmiquement le fonctionnement endogène du cerveau avec des signaux provenant de l’extérieur by using les organes sensoriels. Si nous remettons cela dans la théorie du codage prédictif, cela signifie que ces oscillations permettent probablement la cerveau pour faire la bonne hypothèse exactement au bon moment. «