Машинне навчання поліпшить роботу віртуальної руки

Вчені створили систему, яка за допомогою камери глибини розпізнає рухи людської руки в режимі реального часу. Вона може бути використана для віртуальної і доповненої реальності. Розробка буде представлена на конференції з машинного зору.

Для розпізнавання рухів руки DeepHand використовує камеру з сенсорами глибини і згорточну нейромережу. Систему навчали за допомогою бази даних, в якій було 2,5 мільйона карт глибин, що зображують руки в різних позах. В результаті, кожному суглобу були призначені особливі «векторні» ознаки, які характеризували, яким чином можуть рухатися пальці. Також система навчилася розпізнавати тип пози руки (загальна або локальна), окремі пальці і те, наскільки рука розкрита. «Ми визначили ключові кути в руці і подивилися, як вони змінюються, і потім представили ці форми у вигляді набору чисел», - коментує один з авторів роботи.

DeepHand за допомогою камери з сенсорами глибини стежить за рухами руки, оцінюючи її загальне положення, і синхронізується з базою даних. На основі пози руки система визначає інші параметри суглобів, вибирає найбільш підходящу конфігурацію і потім відображає руку на екрані монітора.

DeepHand досить точно розпізнає руху - помилка при оцінці її положення становить всього 16,35 міліметрів. Однак дослідники для позначення кордону долоні поки що використовують спеціальний напульсник. Крім того, навчання системи вимагає досить великих обчислювальних потужностей.

У майбутньому дослідники розраховують використовувати DeepHand для доповненої реальності, в якій навколишній світ з'єднується з елементами віртуального. Система дозволить керувати цифровими об'єктами - наприклад, переміщати їх або змінювати розмір. Особливо зручною її робить те, що ніякого додаткового обладнання для захоплення рухів (наприклад рукавичок з датчиками руху), крім камери глибини, не потрібно.