Браслет з інфрачервоною камерою розпізнав жести пальцями по тильній стороні пензля

Інженери з Великобританії, Південної Кореї та Японії створили браслет, здатний розпізнавати жести пальцями і використовувати їх як інтерфейс введення. Відмінність цього прототипу від аналогів полягає в тому, що він розпізнає жести по руху тильного боку кисті, що дозволяє використовувати такий спосіб з камерою в розумному годиннику, навіть якщо з її ракурсу не видно пальців. Стаття про систему була представлена на конференції UIST 2019.

У серійних розумних годинниках встановлені невеликі сенсорні екрани і, як правило, одна-дві кнопки управління. Через це вони в основному підходять для швидкого перегляду повідомлень або простих дій, наприклад, перемикання пісень. Однак більш складні завдання, такі як набір тексту, на розумному годиннику сильно ускладнені. Як вирішення цієї проблеми інженери пропонують використовувати альтернативні інтерфейси введення-виведення. Наприклад, кілька груп розробників (1,2) експериментували з годинником, оснащеним проектором і датчиками, що дозволяє використовувати поверхню руки в якості великого сенсорного екрану.

Крім того, деякі серійні розумні годинники оснащені камерою, яку можна було б використовувати для розпізнавання жестів руки. Однак на практиці таке розпізнавання ускладнене тим, що камера розташована близько до поверхні руки і на зображеннях з неї часто не видно пальців. Розробники під керівництвом Хідеки Коїке (Hideki Koike) з Токійського технологічного інституту запропонували відразу навчати систему розпізнавати жести пальцями за зображенням тильної сторони долоні, на якій в цей момент видно зміни форми пензля, а не самі пальці.

Створений інженерами прототип складається з браслета і закріпленого на них датчика Leap Motion, в якому встановлено дві інфрачервоних камери і три світлодіоди для підсвічування. Датчик встановлений таким чином, що його площина сканування перпендикулярна руці. Як алгоритм для розпізнавання жестів дослідники вибрали двопоточну згорточну нейромережу, в якій на одну підсеть подається вихідне зображення, а на другу подається оброблене, складене з декількох попередніх кадрів зі збільшеною в десять разів яскравістю.

Розробники навчили алгоритм розпізнавати десять цифр з американської жестової мови, а також натискання п'ятьма пальцями. При розпізнаванні цифр точність алгоритму склала 88 відсотків для повного кадру, в який потрапляли пальці, і 65 відсотків для обрізаного кадру, в якому була видна тільки зовнішня сторона пензля. При розпізнаванні натискань точність роботи алгоритму склала 67,5 і 45 відсотків, відповідно.

Нещодавно інші розробники створили браслет з наклеюваними на зовнішній бік пензля п'єзоелектричними датчиками. Він розпізнає жести завдяки випусканню ультразвукових коливань і аналізу їх змін при русі руки.