Новости и мнения

Компьютерная программа преобразует сигналы мозга в синтетический голос

Изучение принципа доказательности вселяет надежду, что технологии могут дать голос парализованным людям, не способным говорить.

Новая компьютерная программа переводит сигналы мозга на язык. Технология отслеживает электрические сообщения, передаваемые мышцам в области рта и вокруг него, чтобы расшифровать то, что мозг пытается сказать. Необходимы дальнейшие тесты, но разработчики говорят, что они могут быть использованы для разработки мозговых имплантатов, чтобы помочь людям, перенесшим инсульт или заболевание мозга, общаться.

«Мы хотим создать технологии, которые могут воспроизводить речь непосредственно из деятельности человеческого мозга», – заявил на пресс-конференции Эдвард Чанг , нейрохирург из Университета Калифорнии в Сан-Франциско, который возглавлял исследование. «Это исследование является доказательством принципа, что это возможно». Он и его коллеги описывают результаты в Nature сегодня (24 апреля).

Техника очень инвазивна и опирается на электроды, расположенные глубоко в мозге. Как таковой, он был протестирован только на пяти человек с эпилепсией, которым были установлены электроды как часть их лечения. Эти люди могли – и делали – разговаривали во время тестов, и это позволяло компьютеру обрабатывать соответствующие сигналы мозга. Теперь ученые должны проверить, работает ли это у людей, которые не могут говорить.

Вероятно, это будет сложнее, говорит Ник Рэмси , нейробиолог из университетского медицинского центра Утрехта в Нидерландах, который работает над имплантацией мозга, чтобы помочь людям с синдромом запертости общаться, несмотря на широко распространенный паралич их мышц.   «Все еще остается открытым вопрос, сможете ли вы получить достаточно данных о мозгах от людей, которые не могут говорить, чтобы построить ваш декодер», но он говорит, что исследование «изящно и изощренно», и результаты показывают многообещающие результаты. «Я следил за их работой в течение нескольких лет, и они действительно понимают, что делают».

Речь – одно из самых сложных двигательных действий в организме человека. Требуется точный нервный контроль и координация мышц на губах, языке, челюсти и гортани. Чтобы расшифровать эту деятельность, ученые использовали имплантированные электроды для отслеживания сигналов, посылаемых мозгом, когда добровольцы читали вслух ряд предложений. Компьютерный алгоритм проанализировал эти инструкции, используя уже существующую модель того, как голосовой тракт движется, чтобы издавать звуки. Второй этап обработки затем преобразует эти предсказанные движения в устные предложения.

Этот двухэтапный подход – преобразование мозговой активности в двигательные движения, а затем двигательные движения в слова – производит меньше искажений, чем попытка напрямую преобразовать сигналы мозга в речь, говорит Чанг. Когда команда сыграла 101 синтезированное предложение для слушателей и попросила их идентифицировать произнесенные слова из списка из 25 слов, они расшифровали 43 процента из них точно.

Цинван Раббани , аспирант, работающий над подобными системами в Университете Джона Хопкинса, выслушал синтезированные предложения и сказал, что они хороши, тем более, что у компьютера было только дюжина минут для анализа. По его словам, алгоритмам, которые декодируют речь, обычно требуются аудиозаписи в «дни или недели».

Мозговые сигналы, которые управляют речью, более сложны для декодирования, чем те, которые используются, скажем, для движения рук и ног, и на них легче воздействовать эмоциональное состояние и усталость. Это означает, что синтетическая речевая система, в конечном итоге применяемая к парализованным пациентам, вероятно, будет ограничена ограниченным набором слов, говорит Раббани.

GK Anumanchipalli и др., «Синтез речи из нейронного декодирования речевых предложений», Nature , doi: 10.1038 / s41586-019-1119-1, 2019.

Обсуждение

Ваш e-mail не будет опубликован. Обязательные поля помечены *