Нове покоління слухових апаратів зможе використовувати мозкові хвилі слухаючого

Нова система розпізнає голос з багатьох звуків і посилює його гучність.

Згідно з новим дослідженням, опублікованим в Science Advances, нове покоління слухових апаратів зможе зіставити мозкові хвилі слухача зі «звуковим відбитком» голосу балакучого. Ця інформація може бути використана для автоматичного збільшення гучності звуку в динаміці.

Такий пристрій допоміг би вирішити «проблему коктейльної вечірки», вона полягає в тому, що людина вибирає лише один голос з багатьох в галасливій компанії або людній обстановці. Подібне завдання для сучасних слухових апаратів досить актуальне, тому що зараз воно вирішується шляхом збільшення гучності всіх звуків, говорить Німа Месгарані (Nima Mesgarani), провідний автор дослідження, нейроінженер з Колумбійського університету (Columbia University).

«Якщо ви поговорите з людьми з порушеннями слуху, вони вам поскаржаться, що їм складно слухати промову в людних місцях», - зазначає він.

Месгарані додає, що не тільки вони стикаються з «проблемою коктейльної вечірки». Розумні динаміки і цифрові помічники, такі як Alexa від Amazon і Google Home Assistant, також не справляються з розрізненням голосових команд і відповіддю на них у галасливій кімнаті.

Месгарані і його колеги підійшли до вирішення «проблеми коктейльної вечірки» двома шляхами. По-перше, вони розробили метод поділу голосів розмовляють людей в аудіозапису з безліччю голосів. Потім вони порівнювали спектрограми, «звукові відбитки» цих голосів, зі спектрограмою, реконструйованою за нейронною активністю в мозку того, хто їх слухав.

Експериментальний слуховий апарат збільшує гучність в динаміці спектрограми, найкращим чином відповідної спектрограмі слухача, піднімаючи гучність цього голосу вище, ніж інші звуки в приміщенні.

«Поки що ми тестували його тільки в закритих приміщеннях, - говорить Месгарані. - Але ми хочемо, щоб він так само добре справлявся зі своїм завданням і на жвавій вулиці, і в галасливому ресторані, а люди могли повною мірою відчувати світ навколо».

Месгарані і його команда працюють над цією технологією вже кілька років. Спочатку система могла розрізняти тільки ті голоси, на яких була попередньо навчена. Наприклад, вона знала голоси чотирьох друзів і могла збільшувати гучність голосу одного з них в ресторані, але не могла збільшити гучність іншого голосу, що підійшов до столу офіціанта.

У новому дослідженні вчені звернулися до обробки голосу за допомогою глибокого навчання для того, щоб система змогла розрізняти і розділяти невідомі голоси. Платформа змогла розрізняти вже до трьох голосів і адаптуватися до нових голосів, що з'являються в реальній розмові.

Дослідники використовували дані мозкових хвиль для управління слуховим апаратом, коли дослідження показали, як мозкові хвилі слухача відстежують тільки голос балакучого, що знаходиться в центрі його уваги. Для цього дослідження вони зібрали мозкові хвилі за допомогою електродів, імплантованих безпосередньо в мозок трьох осіб, що оперувалися з метою лікування епілепсії.

За словами Месгарані, подібні пристрої в майбутньому будуть збирати дані з нейронів за допомогою датчика, встановленого над вухом або на шкірі голови.

В даний час група вчених удосконалює цей експериментальний слуховий апарат, створюючи мікрофон, здатний вловлювати і розділяти кілька голосів в режимі реального часу під час розмови, а також неінвазивний спосіб збору мозкових хвиль слухача. Месгарані каже, що повністю готовий до роботи пристрій може бути готовий через п'ять років.