Мікрофон бездротових навушників перетворив шкіру голови на датчик жестів

Інженери з США і Китаю створили прототип бездротових навушників, якими можна керувати жестами, торкаючись або проводячи пальців по шкірі в області вуха. Для розпізнавання жестів використовуються дані з мікрофона, тому цю можливість можна додавати до вже випущених навушників за допомогою програмного оновлення, зазначають автори статті, представленої на конференції CHI 2020.

В області людино-комп'ютерної взаємодії є напрямок, в якому дослідники пропонують використовувати тіло людини в якості сенсорної поверхні. Наприклад, ми розповідали про розумні годинники, які розпізнають дотик до шкіри руки, і розумні окуляри, що розпізнають дотики до носа. Але, хоча самі по собі ці розробки можуть бути досить зручними, вони не виходять за рамки лабораторій, тому що вимагають вбудовувати в пристрої окремі датчики.

Сінь І (Xin Yi) з Університету Цинхуа разом зі своїми колегами вирішив створити метод розпізнавання жестів по шкірі, заснований на апаратному забезпеченні - мікрофонах у бездротових навушниках. Вони використовували серійні бездротові навушники Samsung Gear IconX, підключені по Bluetooth до ноутбука для обробки даних.

При працюючому алгоритмі навушники постійно передають звук з мікрофона на комп'ютер для обробки. На першому етапі зі звуком працює тришарова повносв'язна нейромережа, яка аналізує 180-мілісекундні відрізки звуку і визначає, чи є на них якийсь жест. Якщо жест не виявлено, цей відрізок відсікається, а якщо виявлений, то він передається на інший алгоритм. Перед другим етапом звук перетворюється на мел-спектрограму, а потім передається згорточній нейромережі DenseNet, попередньо навченій на датасеті ImceNet, а потім дообученій на датасеті авторів. Ця нейромережа працює як класифікатор, який видає підсумковий результат - тип досконалого користувачем жесту.

Спочатку автори придумали 27 жестів, що задіюють різні області шкіри в області вух і типи взаємодій з нею, наприклад, дотик і проведення пальцем. Після невеликого дослідження на добровольцях вони скоротили список до восьми: шість одинарних і подвійних дотиків, а також проведення пальцем по вушній раковині і за вухом. Розробники вибрали їх по тому, наскільки зручними і соціально прийнятними вони здалися добровольцям, а також по тому, наскільки чітко вони відмінні на спектрограмі.

Розробники перевірили точність роботи алгоритму на 18 користувачів, навчивши навушники на їх даних. Результати показали, що точність класифікації жестів становить 95,3 відсотка. При цьому крос-валідація з винятком по одному (з датасета по-черзі прибирають дані одного добровольця, перевіряють роботу алгоритму на ньому і тим самим перевіряють наскільки добре модель буде працювати з незнайомими їй даними) показала точність 82,1 відсотка. Однак розробники відзначають, що при реалістичному сценарії, в якому користувача просять перед початком роботи показати п'ять жестів, точність відразу виростає до 90,1 відсотка.

Як застосування автори запропонували використовувати алгоритм так само, як сьогодні застосовуються жести в навушниках з сенсорною поверхнею або акселерометром: управління музикою, дзвінками та повідомленнями.

Торік японські та швейцарські інженери створили носимий пристрій, який кріпиться на куп'ясті і тильну сторону кисті руки і розпізнає жести пальцями іншої руки по ній.