Un nouveau système d’intelligence artificielle appelé décodeur sémantique peut traduire l’activité cérébrale d’une personne – tout en écoutant une histoire ou en imaginant silencieusement raconter une histoire – en un flux continu de texte. Le système développé par des chercheurs de l’Université du Texas à Austin pourrait aider les personnes mentalement conscientes mais incapables de parler physiquement, telles que celles affaiblies par des mishaps vasculaires cérébraux, à communiquer à nouveau de manière intelligible.
L’étude, publiée dans la revue Nature Neuroscience, a été dirigée par Jerry Tang, doctorant en informatique, et Alex Huth, professeur adjoint de neurosciences et d’informatique à l’UT Austin. Le travail repose en partie sur un modèle de transformateur, similaire à ceux qui alimentent ChatGPT d’Open AI et Bard de Google.
“Pour une méthode non invasive, il s’agit d’un véritable bond en avant par rapport à ce qui a été fait auparavant, qui consiste généralement en des mots simples ou des phrases courtes”, a déclaré Huth. “Nous obtenons le modèle pour décoder le langage continu pendant de longues périodes avec des idées compliquées.”
Le résultat n’est pas une transcription mot à mot. Au lieu de cela, les chercheurs l’ont conçu pour capturer l’essentiel de ce qui est dit ou pensé, bien qu’imparfaitement. Environ la moitié du temps, lorsque le décodeur a été formé pour surveiller l’activité cérébrale d’un participant, la device produit un texte qui correspond étroitement (et parfois précisément) au sens voulu des mots originaux.
Par exemple, lors d’expériences, un participant écoutant un orateur dire : « Je n’ai pas encore mon permis de conduire » a vu ses pensées traduites par : « Elle n’a même pas encore commencé à apprendre à conduire ». En écoutant les mots, “Je ne savais pas si je devais crier, pleurer ou m’enfuir. Au lieu de cela, j’ai dit, ‘Laisse-moi tranquille ! ‘ Je t’ai dit de me laisser tranquille.'”
En commençant par une model antérieure de l’article qui est apparue sous forme de préimpression en ligne, les chercheurs ont abordé des concerns sur l’utilisation abusive potentielle de la technologie. L’article décrit comment le décodage n’a fonctionné qu’avec des participants coopératifs qui avaient volontairement participé à la formation du décodeur. Les résultats pour les personnes sur lesquelles le décodeur n’avait pas été formé étaient inintelligibles, et si les members sur lesquels le décodeur avait été formé moreover tard opposaient de la résistance – par exemple, en pensant à d’autres pensées – les résultats étaient également inutilisables.
“Nous prenons très au sérieux les craintes qu’il puisse être utilisé à de mauvaises fins et avons travaillé pour éviter cela”, a déclaré Tang. “Nous voulons nous assurer que les gens n’utilisent ces kinds de technologies que lorsqu’ils le souhaitent et que cela les aide.”
En in addition de demander aux members d’écouter ou de réfléchir à des histoires, les chercheurs ont demandé aux sujets de regarder quatre courtes vidéos silencieuses dans le scanner. Le décodeur sémantique a pu utiliser leur activité cérébrale pour décrire avec précision certains événements des vidéos.
Le système n’est actuellement pas pratique pour une utilisation en dehors du laboratoire en raison de sa dépendance au temps nécessaire à une device IRMf. Mais les chercheurs pensent que ce travail pourrait être transféré à d’autres systèmes d’imagerie cérébrale in addition portables, tels que la spectroscopie fonctionnelle dans le proche infrarouge (fNIRS).
“Le fNIRS mesure où il y a as well as ou moins de flux sanguin dans le cerveau à différents times, ce qui, en fait, est exactement le même style de sign que l’IRMf mesure”, a déclaré Huth. “Ainsi, notre kind exact d’approche devrait se traduire par fNIRS”, bien que, a-t-il noté, la résolution avec fNIRS serait inférieure.
Ce travail a été soutenu par la Whitehall Foundation, la Alfred P. Sloan Basis et le Burroughs Wellcome Fund.
Les autres co-auteurs de l’étude sont Amanda LeBel, une ancienne assistante de recherche du laboratoire Huth, et Shailee Jain, une étudiante diplômée en informatique à l’UT Austin.
Alexander Huth et Jerry Tang ont déposé une demande de brevet PCT liée à ce travail.