Браслет з акселерометрами дозволить натиснути на віртуальну сенсорну кнопку

Швейцарські інженери створили браслети для реалізації сенсорних інтерфейсів у віртуальній реальності. Браслети відстежують дотики пальців до предметів за допомогою акселерометрів, а шолом за допомогою камер стежить за рухом пальців у просторі. Це дозволяє, наприклад, створити віртуальну клавіатуру або сенсорний екран у віртуальній реальності, розповідають автори статті, яка буде представлена на конференції IEEE VR 2021.

Для роботи у віртуальній реальності необхідно, щоб користувач міг взаємодіяти з інтерфейсом, у тому числі з його дрібними деталями. В Oculus Quest, наприклад, є режим, в якому перед користувачем виникають накладені на реальний світ віртуальні монітори, з якими можна взаємодіяти за допомогою стандартних клавіатури і мишки або жестів у повітрі. Необхідність використовувати реальні засоби введення нівелює переваги VR-шоломів, які можуть відображати їх віртуальні копії. Але поки ця проблема складно вирішується, тому що, наприклад, для введення на віртуальній клавіатурі необхідно точно відстежувати положення пальців, їх контакт з клавішами і положення столу або іншої поверхні, на якій людина тримає руки під час набору тексту.

Мануель Майєр (Manuel Meier) і його колеги зі Швейцарської вищої технічної школи Цюріха (ETH) створили контролери, що дозволяють реєструвати дотики пальців до предметів і тим самим реалізувати віртуальні сенсорні екрани. Контролера виконано у вигляді браслета з полімерним ремінцем і платою посередині. У ній є два власних акселерометри, а також від неї відходять по два боки ще два акселерометри, що розташовуються на протилежних сторонах куп'ястя.

Принцип роботи браслета заснований на тому, що при дотику пальця до столу або іншої поверхні виникають вібрації, які проходять через певний палець і частину кисті і доходять до акселерометрів. Оскільки шлях проходження коливань для кожного пальця різний, то і сигнали на акселерометрах розрізняються, і ці відмінності можна розпізнати за допомогою алгоритму машинного навчання.

Алгоритм, розроблений авторами, у фоновому режимі аналізує сигнали і шукає в них піки. Замість простого порогового відсікання фону розробники використовували функцію, яка виявляє швидкі зміни в прискоренні і тим самим відокремлює натискання пальців від інших дій. Після того як алгоритм виявив натискання, сигнал подається на згорточну нейромережу з архітектурою VGG, яка класифікує його, ставлячи до того чи іншого пальця.

Розробники запросили 18 добровольців і записали з їх допомогою 3600 натискань, які використовувалися для навчання і тестів. Точність розпізнавання пальця становила 87 відсотків. Як застосування автори запропонували використовувати такі браслети для введення тексту з клавіатури і взаємодії з елементами віртуального інтерфейсу.

Останнім часом багато розробників займаються створенням контролерів для VR-пристроїв, заснованих на нових принципах роботи. Наприклад, компанія Finch Technologies представила контролер, що складається з кільця і браслета, що дозволяє відстежувати руху і поточне положення руки без використання візуальних датчиків, застосовуваних для цього сьогодні, а Facebook днями показала нові прототипи нейроінтерфейсу для віртуальної реальності, створені на основі технологій CTRL-labs, про які ми розповідали раніше.