Группа нейробиологов смогла декодировать речевые и слышимые сигналы в режиме реального времени и трансформировать их в письменный текст. Результаты их исследования были опубликованы в журнале Nature Communications. Фактически, впервые удалось зафиксировать сигналы мозга, предшествующие предполагаемой речи, до произнесения слов.
Как считает ведущий нейрохирург Эдвард Чанг, из Калифорнийского университета в Сан-Франциско (UCSF), результаты исследования в дальнейшем могут быть использованы для разработки генераторов речи, которые очень необходимы пациентам с нарушениями речи, например, после перенесенного инсульта.
Современные генераторы речи для пациентов с выраженными речевыми нарушениями используют моторные импульсы мышц или движения глаз.
Известный астрофизик Стивен Хокинг страдал тяжелым заболеванием нейронов и для того, чтобы он мог общаться было использовано устройство с датчиком, который позволял фиксировать и интерпретировать даже незначительные движения щеки Хокинга. Устройство трансформировало эти движения в синтетическую речь, но общение с помощью такого устройства требовало больших усилий со стороны парализованного астрофизика.
Несмотря на наличие большого количества таких генераторовSGD, тем не менее, в настоящее время еще нет устройства, которое позволял бы его больному человеку общаться с окружающими в режиме реального времени.
Расшифровка мозговых сигналов в письменный текст
Для создания алгоритма, который позволил бы расшифровывать речевые сигналы мозга, ученые воспользовались возможностью изучения пациентов с эпилепсией, которым планировалось проведение нейрохирургических манипуляций. Пациентам до операции были введены электроды, и запись импульсов с вживленных в мозг электродов позволила ученым понять, какие паттерны возникают при формировании речевого сигнала.
Результаты анализа записей мозговой деятельности были использованы для создания компьютерной модели, в которой было проведено сопоставление паттернов реакции на вопросы и ответы, которые произносились этими пациентами.
