Американские ученые близки к возвращению речи людям, которые потеряли возможность говорить из-за травм и болезней. В этом им помогает специальный интерфейс в сочетании с самообучающейся нейросетью

А в чем тренд?

Черепно-мозговые травмы, неврологические заболевания, инсульты и другие трудности со здоровьем лишили многих людей способности говорить. Даже если они понимают язык и знают, что хотят сказать, их тело не позволяет им сделать это.

Исследователи из Калифорнии представили новые «интерфейсы мозг-компьютер» (BCI), которые переводят сигналы мозга в слова. Двум людям, которые не могли самостоятельно разговаривать, устройства обеспечили «речь» в четыре раза быстрее, чем любые прежние аппараты.

Кому ученые вернули речь

Первая пациентка — Пэт Беннетт, 68 лет. Чуть больше 10 лет назад ей был поставлен диагноз «боковой амиотрофический склероз». По мере прогрессирования болезни она потеряла способность двигать мышцами, которые необходимы для разборчивой речи. Пока она может печатать пальцами, но этот процесс становится для нее все более и более сложным.

Вторая пациентка — Энн Джонсон. В 2005 году она перенесла инсульт, после которого оказалась полностью парализованной. Сейчас ей 47 лет. Она использует вспомогательное устройство, чтобы произносить слова по буквам со скоростью 14 слов в минуту. Для сравнения, средняя скорость речи составляет 150 слов в минуту.

И Беннетт, и Джонсон вернули способность «говорить» со средней скоростью 60-80 слов в минуту благодаря новым BCI. Интерфейсы используют комбинацию мозговых имплантов и обученных компьютерных алгоритмов для перевода мыслей в текст. Благодаря этому был поставлен новый рекорд для BCI — прежний держался на отметке 18 слов в минуту.

Система для Беннетт была разработана группой специалистов Стэнфордского университета, а система для Джонсон — учеными Калифорнийского университета в Сан-Франциско. 23 августа обе команды опубликовали исследования в журнале Nature.

В 2022 году в наружный слой мозга Пэт Беннетт были имплантированы четыре датчика. Они соединялись с черепом по золотым проводам, через которые он одновременно был подключен к компьютеру. В течение 25 сеансов по 4 часа пациентка пыталась повторять предложения из большого набора данных.

Анализируя активность мозга во время этих сеансов, компьютерный алгоритм определил, как выглядел мозг Беннетт, когда она пыталась произнести каждую из 39 основных фонем (звуковых единиц) в английском языке. Теперь когда Беннетт хочет говорить, BCI посылает свои предположения на основе активности мозга в языковую модель, которая предсказывает слова и выводит их на экран. При ограничении словарного запаса до 50 слов уровень ошибок при использовании BCI составляет 9,1%. При расширении до 125 тыс. слов этот показатель составляет 23,8%.

Этот показатель не кажется удачным, но это огромный шаг вперед. У BCI с прежним рекордом скорости средний коэффициент ошибок составлял 25% при словарном запасе в 50 слов.

Интерфейс для Энн Джонсон

Команда, работающая с Энн Джонсон, разместила на поверхности ее мозга всего один датчик. Однако он содержал примерно такое же количество электродов, как и четыре устройства в разработке стэнфордской группы. Обучение проходило по аналогичной методике. К концу эксперимента модель могла предсказывать формулировки со средней скоростью 78 слов в минуту при коэффициенте ошибок 25,5%.

Специалисты из Калифорнийского университета в Сан-Франциско сделали дополнительный шаг. Вместо простого вывода слов на экран они объединили систему с цифровым аватаром лица Джонсон (он был обучен на анализе активности мозга) и синтетическим голосом (ИИ воссоздал его на основе видео пациентки до инсульта).

Перспективы разработки

Для имплантации датчиков пациенткам потребовалась рискованная операция на мозге. Коэффициент ошибок в речи остается достаточно высоким. Пока обе системы могут использоваться только в лабораторных условиях.

Однако ученые продолжают беспрерывную работу над беспроводными BCI с ИИ. С течением времени эти технологии в сочетании с цифровыми аватарами и улучшенными синтетическими голосами помогут бесчисленному количеству людей общаться легко и выразительно — как до травмы или болезни. Возможно, идеальные интерфейсы будущего будут носить имена первых пациенток и тестировщиц — Пэт Беннетт и Энн Джонсон.