Lors du mariage d’Ann Johnson il y a 20 ans, son don pour la parole était évident. Dans un toast passionné de 15 minutes, elle a plaisanté en disant qu’elle avait couru dans l’allée, a demandé si le programme du concert devait dire « joueur de flûte » ou « joueur de plat » et a admis qu’elle « jouait avec le microphone ».
À peine deux ans plus tard, Mme Johnson – alors âgée de 30 ans, entraîneur de volley-ball et mère d’un petit garçon – a subi un accident vasculaire cérébral catastrophique qui l’a paralysée et l’a rendue incapable de parler.
Et mercredi, les scientifiques ont signalé des progrès significatifs pour l’aider, ainsi que d’autres patients, à parler à nouveau. Dans le cadre d’une étape importante dans les neurosciences et l’intelligence artificielle, des électrodes implantées ont décodé les signaux cérébraux de Mme Johnson alors qu’elle essayait silencieusement de prononcer des phrases. La technologie a converti ses signaux cérébraux en langage écrit et vocal et a permis à l’avatar sur un écran d’ordinateur de prononcer des mots et d’afficher des sourires, des lèvres pincées et d’autres expressions.
recherche, Publié dans la revue NatureLes experts affirment que c’est la première fois que des mots prononcés et des expressions faciales sont synthétisés directement à partir de signaux cérébraux. Mme Johnson a choisi l’avatar, un visage semblable au sien, et les chercheurs ont utilisé son toast de mariage pour développer la voix de l’avatar.
« Nous essayons simplement de retrouver l’identité des gens », a déclaré le chef d’équipe, le Dr Edward Chang, chef du service de neurochirurgie à l’Université de Californie à San Francisco.
«Il m’a permis de me sentir à nouveau comme une personne à part entière», m’a écrit Mme Johnson, aujourd’hui âgée de 48 ans.
L’objectif est d’aider les personnes qui ne peuvent pas parler à cause d’un accident vasculaire cérébral ou de maladies telles que la paralysie cérébrale et la sclérose latérale amyotrophique. Pour que l’implant de Mme Johnson fonctionne, il doit être connecté par câble depuis sa tête à un ordinateur, mais son équipe et d’autres développent des versions sans fil. Les chercheurs espèrent qu’à terme, les personnes ayant perdu la capacité de parler pourront parler en temps réel grâce à des images informatisées d’elles-mêmes qui transmettent l’intonation, l’inflexion et des émotions telles que la joie et la colère.
« Ce qui est très excitant, c’est qu’à partir de la surface du cerveau, les chercheurs ont pu obtenir de très bonnes informations sur ces différentes fonctionnalités de communication », a déclaré le Dr Parag Patel, neurochirurgien et ingénieur biomédical à l’Université du Michigan, qui a participé dans l’étude. Nature a demandé un examen de l’étude avant sa publication.
L’expérience de Mme Johnson reflète les progrès rapides dans ce domaine. Il y a à peine deux ans, la même équipe publiait recherche Un homme paralysé, surnommé Pancho, a utilisé un implant et un algorithme plus simple pour produire 50 mots-clés tels que « bonjour » et « faim » qui étaient affichés sous forme de texte sur un ordinateur après avoir essayé de les prononcer.
L’implant de Mme Johnson contient près de deux fois plus d’électrodes, augmentant ainsi sa capacité à détecter les signaux cérébraux provenant des processus sensoriels et moteurs liés à la parole associés à la bouche, aux lèvres, à la mâchoire, à la langue et au larynx. Les chercheurs ont entraîné l’IA sophistiquée à reconnaître non pas des mots individuels, mais des phonèmes, ou des phonèmes comme « ow » et « ah », qui pourraient éventuellement former n’importe quel mot.
« C’est comme un alphabet de sons de parole », a déclaré David Moses, chef de projet.
Alors que le système de Pancho produisait 15 à 18 mots par minute, Mme Johnson en produisait en moyenne 78 en utilisant un vocabulaire beaucoup plus large. Le taux de conversation moyen est d’environ 160 mots par minute.
Lorsque les chercheurs ont commencé à travailler avec elle, ils ne s’attendaient pas à rencontrer un avatar ou une voix. Mais les résultats prometteurs ont été « un énorme feu vert pour dire : OK, essayons les choses les plus difficiles, essayons-les », a déclaré le Dr Moses.
Ils ont programmé un algorithme pour décoder l’activité cérébrale en formes d’onde audio et produire de la parole audio, a déclaré Kylo Littlejohn, étudiant diplômé à l’Université de Californie à Berkeley et l’un des principaux auteurs de l’étude, avec le Dr Moses, Sean Metzger et Alex. Silva. et Margaret Seton.
« La parole contient de nombreuses informations qui ne sont pas bien mémorisées par le texte seul, telles que l’intonation, la hauteur et l’articulation », a déclaré Littlejohn.
En collaboration avec une entreprise qui produit des animations faciales, les chercheurs ont programmé l’avatar avec des données sur les mouvements musculaires. Mme Johnson a ensuite essayé de créer des expressions faciales de bonheur, de tristesse et de surprise, chacune avec une force élevée, moyenne et faible. J’ai également essayé différents mouvements de la mâchoire, de la langue et des lèvres. Ses signaux cérébraux décodés étaient transmis sur le visage de l’avatar.
À travers l’avatar, elle a dit : « Je pense que tu es incroyable » et « Que penses-tu de ma voix artificielle ? »
« Entendre une voix semblable à la vôtre est émouvant », a déclaré Mme Johnson aux chercheurs.
Alors elle et son mari, William, le postier Engagé dans la conversation. « Ne me fais pas rire », a-t-elle dit à travers l’avatar. Il lui a demandé ce qu’elle pensait des chances des Blue Jays de Toronto. Elle a répondu : « Tout est possible ».
Le domaine évolue si rapidement que les experts pensent que des versions sans fil approuvées par le gouvernement fédéral pourraient être disponibles au cours de la prochaine décennie. Différentes méthodes peuvent être idéales pour certains patients.
Mercredi, La revue Nature a également publié une étude réalisée par une autre équipe Cela implique des électrodes implantées plus profondément dans le cerveau, qui détectent l’activité de neurones individuels, a déclaré le Dr Jimmy Henderson, professeur de neurochirurgie à l’Université de Stanford et chef de l’équipe, motivé par son expérience d’enfance consistant à voir son père perdre la capacité. parler après un accident. Leur méthode est peut-être plus précise, mais moins stable, a-t-il déclaré, car les modes de déclenchement de neurones spécifiques peuvent changer.
Leur système a décodé des phrases à 62 mots par minute, que le participant Pat Bennett, 68 ans, atteint de SLA, a essayé de prononcer avec un vocabulaire étendu. Cette étude n’incluait pas le décodage des glyphes ou de l’audio.
Les deux études ont utilisé des modèles linguistiques prédictifs pour aider à deviner les mots dans les phrases. Non seulement les systèmes font correspondre les mots, mais ils « détectent de nouveaux modèles de langage » car ils reconnaissent mieux l’activité neuronale des participants, a déclaré Melanie Fred Okin, experte en technologie d’assistance à la parole et au langage à l’Oregon Health & Science University. Consulté sur l’étude de Stanford.
Aucune des deux approches n’était entièrement exacte. Lorsqu’ils utilisaient de grands groupes de vocabulaires, ils décodaient incorrectement des mots individuels environ un quart du temps.
Par exemple, lorsque Mme Johnson a essayé de dire : « Nous les avons peut-être perdus », le système a décodé : « Nous avons peut-être perdu ce nom ». Mais dans environ la moitié de ses phrases, elle était capable de déchiffrer correctement chaque mot.
Les chercheurs ont découvert que les utilisateurs de la plateforme de crowdsourcing pouvaient interpréter correctement l’expression faciale de l’avatar la plupart du temps. Interpréter ce que disait la voix était plus difficile, c’est pourquoi l’équipe développe un algorithme de prédiction pour améliorer cela. « Notre avatar parlant n’en est qu’au point de départ », a déclaré le Dr Chang.
Les experts soulignent que ces systèmes ne lisent pas dans les pensées ou les pensées des gens. Au lieu de cela, a déclaré Patel, ils sont comme des joueurs de baseball qui « ne lisent pas dans les pensées du lanceur mais interprètent ce qu’ils voient le lanceur faire » pour prédire les lay-ups.
Cependant, la lecture des pensées pourrait éventuellement devenir possible, ce qui soulève des problèmes d’éthique et de confidentialité, explique le Dr Fred O’Kane.
Mme Johnson a appelé le Dr Chang en 2021, le lendemain du jour où son mari lui a montré mon article sur Pancho, l’homme paralysé aidé par les chercheurs. Le Dr Chang a déclaré qu’il l’avait d’abord découragée parce qu’elle vivait en Saskatchewan, au Canada, loin de son laboratoire de San Francisco, mais « elle a persisté ».
M. Johnson, 48 ans, s’est arrangé pour travailler à temps partiel. « Ann m’a toujours soutenu pour faire ce que je voulais », a-t-il déclaré, notamment à la tête de son syndicat postal local. « J’ai donc pensé qu’il était important de pouvoir la soutenir dans cette démarche. »
J’ai commencé à participer en septembre dernier. Il faut trois jours pour se rendre en Californie dans un camion rempli de matériel, y compris un ascenseur pour la déplacer entre un fauteuil roulant et un lit. Ils y louent un appartement où les chercheurs mènent leurs expériences pour lui faciliter la tâche. Les Johnson, qui collectent des fonds en ligne et dans leur communauté pour payer les déplacements et le loyer de l’étude pluriannuelle, passent des semaines en Californie, rentrant chez eux entre les phases de recherche.
« Si elle avait pu le faire 10 heures par jour, sept jours par semaine, elle l’aurait fait », a déclaré M. Johnson.
Le design a toujours fait partie de sa nature. Lorsqu’ils ont commencé à sortir ensemble, Mme Johnson a donné à M. Johnson 18 mois pour lui proposer, ce qu’il a dit avoir fait « le jour fixé du dix-huitième mois », après qu’elle soit « déjà allée choisir sa bague de fiançailles ».
Mme Johnson m’a contacté par courrier électronique configuré avec un système d’assistant plus rudimentaire qu’elle utilise à la maison. Elle porte des lunettes à miroir qui ciblent les lettres et les mots sur un écran d’ordinateur.
Il est lent, lui permettant de générer seulement 14 mots par minute. Mais c’est plus rapide que la seule autre façon dont elle peut communiquer à la maison : en utilisant un babillard en plastique, que M. Johnson a décrit comme « j’essayais juste de me montrer le message que vous essayez de regarder et ensuite je le découvrirai ». Qu’est-ce que tu essayes de dire. »
L’incapacité d’avoir des conversations fluides les frustre. Lorsqu’il discutait de questions détaillées, M. Johnson disait parfois quelque chose et recevait sa réponse par courrier électronique le lendemain.
« Anne a toujours été une grande bavarde dans la vie, une personne sociale et extravertie qui adore parler, et je n’aime pas ça », a-t-il déclaré, mais son accident vasculaire cérébral « a fait inverser les rôles, et maintenant je suis censé être le bavard. »
Mme Johnson enseignait les mathématiques, l’éducation physique et la santé au secondaire et entraînait du volleyball et du basketball lorsqu’elle a subi un accident vasculaire cérébral alors qu’elle s’échauffait pour jouer au volleyball. Après un an dans un hôpital et un centre de réadaptation, a déclaré Johnson, elle est rentrée à la maison pour retrouver son beau-fils de 10 ans et sa fille de 23 mois, maintenant adultes sans aucun souvenir d’avoir entendu sa mère parler.
Mme Johnson a écrit : « Ne pas pouvoir serrer et embrasser mes enfants m’a terriblement blessé, mais c’était ma réalité. « On m’a vraiment dit que je ne pouvais plus avoir d’enfants. »
Pendant cinq ans après son accident vasculaire cérébral, elle a été terrifiée. « Je pensais que j’allais mourir à tout moment », a-t-elle écrit. « La partie de mon cerveau qui ne s’est pas figée savait que j’avais besoin d’aide, mais comment puis-je communiquer ? »
Petit à petit, sa persévérance est réapparue. «Mes muscles du visage ne fonctionnaient pas du tout», écrit-elle au début, mais après environ cinq ans, elle était capable de sourire à volonté.
Elle était entièrement nourrie par sonde depuis une décennie, mais a décidé qu’elle voulait goûter à la nourriture solide. Elle se dit : « Si je meurs, qu’il en soit ainsi ». « J’ai commencé à sucer du chocolat. » Elle a suivi une thérapie de déglutition et mange désormais des aliments hachés ou mous. « Ma fille et moi adorons les cupcakes », a-t-elle écrit.
Lorsque Mme Johnson a appris que des conseillers en traumatologie étaient nécessaires après un accident d’autobus mortel en Saskatchewan en 2018, elle a décidé de suivre un cours de counseling universitaire en ligne.
« J’avais des compétences minimales en informatique, et étant étudiante en mathématiques et en sciences, l’idée de rédiger des devoirs me faisait peur », a-t-elle écrit dans un rapport de classe. « Au même moment, ma fille était en neuvième année et on lui a diagnostiqué un trouble de traitement. J’ai décidé de vaincre mes peurs et de lui montrer que les handicaps ne devaient pas nécessairement nous arrêter ou nous ralentir.
Aider les survivants d’un traumatisme reste son objectif. « Mon objectif pour aller sur la Lune était de devenir conseillère et d’utiliser cette technologie pour parler à mes clients », a-t-elle déclaré à l’équipe du Dr Chang.
Au début, lorsqu’elle a commencé à exprimer ses sentiments avec l’avatar, elle a écrit : « Je me sentais idiote, mais j’aime avoir à nouveau l’impression d’avoir un visage expressif », ajoutant que les exercices lui permettaient également de bouger le côté gauche de son front. en arrière. Première fois.
J’ai aussi gagné autre chose. « Après mon accident vasculaire cérébral, j’ai ressenti tellement de douleur quand j’ai tout perdu », a-t-elle écrit. «Je me suis dit que je ne me mettrais plus jamais dans la voie de la déception.»
« Maintenant, j’ai l’impression d’avoir à nouveau un travail », a-t-elle écrit.
De plus, la technologie lui permet de s’imaginer dans Star Wars : « J’avais l’habitude d’avoir le cerveau un peu hébété. »
« Évangéliste généraliste de la bière. Pionnier du café depuis toujours. Défenseur certifié de Twitter. Internetaholic. Praticien du voyage. »
More Stories
SpaceX lance 23 satellites Starlink sur le vol Falcon 9 depuis Cap Canaveral – Spaceflight Now
Les pommes sont-elles saines ? De plus, voici les pommes les plus sucrées que vous puissiez acheter.
Une découverte de météorite sans précédent remet en question les modèles astrophysiques