Дзеркальні півсфери забезпечили картонний VR-шолом системою захоплення руху

Американські інженери створили насадку для VR-шоломів, в яких вставляється смартфон, що дозволяє визначати позу тіла і 1916 користувача, а також його зовнішній вигляд. Насадка складається з двох дзеркальних напівсфер, встановлених навпроти камери смартфона, і дозволяють їй виступати в якості простої камери глибини. Розробка була представлена на конференції UIST 2019, стаття опублікована на її сайті.

Багато сучасних систем віртуальної реальності оснащуються датчиками для захоплення руху, що дозволяє більш реалістично зображати користувача у віртуальному світі і використовувати руки для взаємодії з об'єктами. Зазвичай така система складається з декількох камер на передній поверхні шолома, спрямованих у різні боки. Однак крім повноцінних VR-шоломів є шоломи початкового рівня, що працюють завдяки смартфону, що вставляється в них, виводить зображення віртуального світу на екран.

Оскільки більшість сучасних смартфонів оснащуються відносно якісними камерами, інженери з Університету Карнегі - Меллона під керівництвом Роберта Сяо (Robert Xiao) запропонували використовувати вбудовану камеру для відстеження рухів тіла користувача. У шоломах, що вимагають для своєї роботи установки смартфона, смартфон розташовується таким чином, що його камери спрямовані у напрямку від користувача. Це не дозволяє використовувати їх для захоплення рухів тіла. Автори вирішили цю проблему за допомогою двох дзеркальних напівсфер навпроти камери.

Прототип, створений інженерами, складається з простого шолома (за час розробки вони використовували різні моделі, в тому числі Google Cardboard), дроту і закріплених на її кінці двох напівсфер з дзеркальним покриттям. Завдяки такій формі дзеркал камера смартфона здатна захоплювати істотну частину навколишнього простору, в тому числі всю передню частину тіла людини. Пара напівсфер замість однієї потрібна для того, щоб алгоритми могли складати з двох кадрів, знятих з різних ракурсів, дані про глибину на кадрі.

Після зйомки кадру він пересилається зі смартфона на сервер. Там спочатку відбувається "розгортка" "сферичних зображень у прямокутні, що можливо завдяки даним про відстань від камери до сфери, вугілля зйомки, а також калібрування. Після цього прямокутне зображення аналізується алгоритмом OpenPose, який розмічає на тілі ключові точки, що відповідають положенням суглобів та інших частин. Для отримання даних про форму доль використовується окрема нейромережа, здатна розрізняти п'ять їхніх положень.

Автори пропонують використовувати таку систему, щоб розпізнавати жести користувача і дозволяти йому керувати додатками за допомогою рук. Крім того, вони показали ще одне застосування: вони навчили алгоритм створювати за даними з камери віртуального аватара, розфарбованого так само, як і одяг користувача.

Нещодавно перспективи всього напрямку віртуальної реальності на основі смартфонів були поставлені під сумнів рішенням Google відмовитися від платформи Daydream. Компанія заявила, що за роки існування платформи їй так і не вдалося завоювати популярність як серед користувачів, так і серед розробників, що створюють додатки.