Нейромишкова гарнітура почує німі команди

Вчені розробили нейромишкову гарнітуру AlterEgo, яка може зчитувати беззвучну мову. Розробка була представлена в рамках конференції Association for Computing Machinery's ACM Intelligent User Interface, коротко про неї розповідається в прес-релізі на сайті Массачусетського технологічного інституту.

Нейроінтерфейси призначені для зв'язку та обміну інформацією між мозком і комп'ютером. Вони можуть бути використані для виконання безлічі завдань: наприклад, набору тексту без клавіатури або керування роботами «силою думки». Незважаючи на те, що робота над пристроями подібного типу почалася ще в 70-х роках минулого століття, вони все ще далекі від досконалості, проте технології машинного навчання останнім часом допомагають зробити їх роботу більш ефективною.

Розроблювана дослідниками з MIT система призначена для зчитування беззвучної мови. Вона використовує навушники з кістковою провідністю, чотири електроди та алгоритм штучного інтелекту. Варто зауважити, що технологія належить до класу нейромишкових інтерфейсів, тобто пристрій реєструє зміни сигналів нейромишкової активності і не використовує ЕЕГ-гарнітуру - навіть коли говоримо про себе, електрична активність залучених у мову м'язів все одно змінюється і пристрій реєструє ці зміни.

При створенні AlterEgo дослідники фокусувалися семи зонах обличчя, включаючи зовнішню і внутрішню частину гортані, під'язичну кістку, ротову і підборіддну область, а також зовнішню і внутрішню підглазничну зону. У версії, описаній у статті, використовувалося сім електродів, проте в системі, продемонстрованій на конференції, їх було вже чотири і всі вони вміщалися на одному боці обличчя. Для того, щоб навчити AlterEgo виконувати команди користувача, розробники просили трьох добровольців внутрішньо проговорити команди з різних категорій, включаючи численні операції («розділити», «додати» і так далі), управління розумним будинком («включити світло», «вимкнути світло», «включити кондиціонер», «вимкнути кондиціонер») та інші. За два етапи дослідники записали 36 годин беззвучної промови.

Потім вчені використовували згорточну нейронну мережу для пошуку кореляцій між певними нервово-м'язовими сигналами і конкретними словами. У результаті вона навчилася визначати, що хотів сказати користувач, навіть якщо він нічого не вимовляв вголос. Тестування за участю 10 волонтерів показало, що після 15-хвилинного калібрування, AlterEgo здатна розпізнати команди людини з точністю до 92 відсотків, що перевершує точність існуючих систем. Випробування в кожному випадку тривало 90 хвилин.

У поточній конфігурації AlterEgo може встановлювати нагадування і завдання на певну дату, дізнаватися час, виконувати математичні операції, спілкуватися з іншими користувачами (але тільки за допомогою 5 фраз), грати в шахи і го, керувати домашніми пристроями. Якщо від системи потрібен зворотний зв'язок, пристрій відтворює звук за допомогою кісткової провідності.

З часом, зазначають розробники, точність системи повинна зрости завдяки збільшенню набору даних. На даний момент дослідники працюють над тим, щоб зробити словник AlterEgo більш обширним.

Над створенням неінвазивного інтерфейсу також працює компанія Facebook. Він не тільки дозволить користувачам набирати текст без клавіатури, а й «чути» за допомогою шкіри.