Браслет і кільце розпізнають жести пальцями за допомогою звуку

Американські і китайські інженери створили систему з браслета і кільця, здатну розпізнати 22 жести пальцями, в тому числі 10 символів американської жестової мови. Кільце на великому пальці випромінює звукові імпульси, які змінюють свої акустичні властивості, проходячи через пальці до браслета з мікрофонами, розповідають розробники в статті, яка була представлена на конференції CHI 2018.

Один з основних недоліків розумних годинників і браслетів полягає в тому, що їх складно використовувати як пристрій введення через те, що в більшості з них управління інтерфейсом здійснюється через невеликий сенсорний екран. Як альтернативу можна використовувати голосове введення, але це не завжди зручно, особливо в громадських місцях. Через це інженери пропонують безліч інших способів введення, багато з яких поки застосовуються лише в лабораторних прототипах, але в майбутньому можуть бути вдосконалені для впровадження в серійні пристрої.

Група інженерів під керівництвом Грегорі Абоуда (Gregory Abowd) з Технологічного інституту Джорджії створили пристрій, здатний розпізнавати жести пальцями. Воно складається з кільця, що закріплюється на великому пальці, і браслета. У кільце вбудовано акустичний випромінювач і мікрофон, а в браслет ще три мікрофони. Принцип дії системи заснований на тому, що властивості звуку, що сприймається мікрофонами, сильно залежать від шляху проходження звуку по тілу. Оскільки шлях проходження звуку змінюється, коли людина приганяє великий палець до інших пальців, система може визначити за звуком, який саме жест показав користувач.

Під час роботи випромінювач на пальці десять разів на секунду відтворює звукові імпульси з частотою від 20 герц до 6 кілогерц, а мікрофони реєструють сигнал після проходження через руку. Потім алгоритм на основі методу опорних векторів зіставляє сигнал зі зразками 22 жестів - десять з яких позначають числа в американській жестовій мові, а ще 12 - це дотик великим пальцем всіх фаланг інших пальців. Розробники провели випробування системи на добровольцях і середня точність розпізнавання жестів склала 93,8 відсотків для жестів з фалангами і 95,6 для жестової мови.

Автори статті зазначають, що система має помітний недолік - вона вимагає калібрування і її вміння розпізнавати жести залежить від конкретного користувача. У майбутньому вчені планують доопрацювати систему для розпізнавання всіх 26 букв американської жестової мови.

Інша група американських і китайських інженерів також представила на конференції CHI 2018 прототип незвичайного носимого пристрою, що розпізнає рух пальців за допомогою звуку. Вони створили розумний годинник без екрану, який проектують інтерфейс на руку і розпізнають положення пальця на руці за допомогою ультразвукових датчиків відстані, перетворюючи руку на подобу сенсорного екрану. Крім того існують кілька прототипів рукавичок, які розпізнають жести руки, вимірюючи вигин пальців.