Сигнали мозку перетворено безпосередньо на усну мову

Вчені Колумбійського університету створили систему, що перетворює людські думки на зрозумілу нам мову. Контролюючи мозкову діяльність, система може реконструювати слова, що «вимовляються» подумки з безпрецедентною ясністю.

Дослідження показують, що, коли люди говорять або навіть думають, що кажуть, в їх мозку з'являються характерні патерни активності. Чітка схема сигналів також виникає, коли ми слухаємо, як хтось каже, або уявляємо, що слухаємо. Фахівці досить давно думали, що ці патерни можна розшифрувати і перетворити на щось зрозуміле для оточуючих.

Ранні спроби розшифрувати сигнали мозку були побудовані на основі простих комп'ютерних моделей, які аналізували спектри звуків. Цей підхід не дав чітких результатів.

Автори дослідження спробували використовувати вокодер - комп'ютерний алгоритм, який може синтезувати промову після навчання за записом розмов людей. Це та ж технологія, яка використовується Amazon Echo і Apple Siri для формування усної відповіді на наші питання.

Щоб навчити вокодер інтерпретувати мозкову діяльність вчені попросили пацієнтів, які страждають на епілепсію, і вже перенесли операцію на головному мозку, вислухати фрази різних людей. Їх мозкова активність в цей час замірялася. Ці нейронні патерни використовувалися як навчальна інформація для вокодера.

Потім дослідники попросили тих же пацієнтів прослухати цифри від 0 до 9, що звучать через динамік. Сигнали мозку в цей момент фіксувалися і далі використовувалися для «навчання» вокодера. Звук, вироблений вокодером у відповідь на ці сигнали, аналізувався і очищався за допомогою нейронних мереж.

Кінцевим результатом був роботизований голос, який повторює послідовність чисел. Щоб перевірити точність запису, вчені доручили людям прослухати запис і повідомити, що вони почули.

«Ми виявили, що люди можуть розуміти і повторювати звуки приблизно в 75% випадків, що значно перевершує будь-які попередні спроби», - говорить доктор Німа Месгарані (Nima Mesgarani), один з авторів роботи. Найкраща зрозумілість була особливо очевидною при порівнянні нових записів з результатами ранніх дослідів, заснованих на спектрограмі.

Автори вважають, що їх розробка може вже в близькому майбутньому бути використана для створення практично застосовних засобів комунікації.