Ученые из университета в Сан-Франциско и в Беркли создали интерфейс «мозг-компьютер», и с его помощью женщина с тяжелыми последствиями стволового инсульта смогла говорить с использованием цифрового аватара.
Таким образом, удалось впервые синтезировать речь и мимику из сигналов мозга. Разработанная технология позволяет расшифровывать сигналы и трансформировать их (до 80 слов в минуту) в текст, что значительно лучше, чем имеющиеся на сегодняшний день доступные технологии. Как надеется один из главных авторов исследования доктор Эдвард Чанг, созданная в течение десяти лет технология интерфейса мозг-компьютер позволит в будущем использовать ее в клинической практике. Результаты проведенной работы были опубликованы в журнале Nature. В более ранних исследованиях команда доктора Чанга показала, что им удалось декодировать сигналы мозга в текст у человека, перенесшего стволовой инсульт много лет назад. В последнем же исследовании ученым удалось не только декодировать сигналы мозга в богатую речь, но и воссоздать мимику лица во время разговора.
В ходе исследование доктор Чанг провел имплантацию небольшого прямоугольника толщиной листа бумаги, который состоял из 253 электродов, на поверхность области мозга женщины, имеющей ключевую роль в речевых функциях. Электроды позволяли перехватывать электрические импульсы мозга, которые направлены к мышцам лица, гортани, челюсти и языка. Электроды были подключены к компьютеру кабелем через порт закрепленной на ее голове.
В течение нескольких недель пациентка вместе с командой ученых проводила обучение алгоритмов искусственного интеллекта для распознавания уникальных сигналов ее мозга для создания речи. Для обучения было использованы повторения разных фраз из разговорной речи (состоящей из 1024 слов), снова и снова, пока ИИ не стал распознавать паттерны активности мозга, связанные со звуками.
Для распознавания ИИ целых слов ученые разработали систему, которая декодирует слова из фонем. Такой подход позволил компьютеру быстро выучить всего 39 фонем и, таким образом, быстро расшифровывать любые слова на английском языке.
Для разработки алгоритма синтеза речи они провели персонализацию и для этого использовали запись ее речи, проведенную до инсульта.
Команда ученых с помощью определенного программного обеспечения, разработанного Speech Graphics, анимировала аватар, которое имитировал и анимировал движения мышц лица.
Ученые разработали индивидуальные алгоритмы ИИ, которые позволили декодировать сигналы из мозга женщины и трансформировать их в движения на лице аватара.
Ученые планируют в дальнейшем создать беспроводную версию, что не будет требовать физического подключения к BCI.
