Disney навчилася знімати об'ємні панорамні відеоролики для VR-шоломів

Дослідники з Disney Research створили масив камер і алгоритм для зйомки об'ємних панорамних відеороликів, а також їх відображення в шоломі віртуальної реальності. На відміну від аналогічних розробок, метод дозволяє знімати сцени з об'єктами, що рухаються, наприклад, людьми. Присвячена розробці стаття опублікована в журналі.

Як правило, програми для шоломів віртуальної реальності виводять на екран повністю штучне зображення. У такому режимі шолом може створювати окреме зображення для кожного ока, що дає змогу створювати відчуття об'єму користувача. Але деякі програми використовують зображення реального світу. Наприклад, це може бути панорамне відео або панорама місцевості на картографічному сервісі. У цьому випадку завдання передачі обсягу ускладнюється, тому що для синтезу реалістичних зображень для очей необхідно, щоб об'єкти на сцені були зняті з різних ракурсів.

Фахівці в галузі графіки запропонували кілька технологічних рішень для цього завдання. Наприклад, Google нещодавно представила камеру світлового поля, що складається з 16 камер, які повертаються по колу для зйомки об'ємного зображення. Крім того, кілька груп дослідників пропонували створювати стереоскопічні панорами за допомогою однієї камери, що обертається по колу, але для цього необхідно зробити десятки або навіть сотні знімків різних ракурсів. Такі підходи мають відразу кілька недоліків, у тому числі вони вимагають багато часу на зйомку і не дозволяють захоплювати сцени з рухаються людьми та іншими об'єктами.

Олександр Соркін-Хорнунг (Alexander Sorkine-Hornung) і його колеги з Disney Research розробили камеру і алгоритм для неї, що дозволяють знімати стереоскопічні панорамні відеоролики в тому числі і динамічних сцен. Автори продемонстрували роботу камер і алгоритму на прикладі декількох роликів:

Розроблений дослідниками алгоритм створює на основі знімків з різних камер світлопольну виставу сцени. Також дослідники створили функцію, що перетворює координати зображень на координати єдиної циліндричної панорами. Для того, щоб отримувати якісні проміжні зображення дослідники вимірювали оптичний потік у сусідніх кадрах з різних камер. Для створення об'ємного зображення алгоритм створює два «зрізи» світлового поля, що відповідають кожному оку.

Розробники створили камеру для зйомки об'ємних панорам, що складається з надрукованого на 3D-принтері корпусу і 16 камер з ширококутними об'єктивами. Знявши кілька панорамних роликів, вони обробили їх за допомогою алгоритму. Для того, щоб алгоритм міг відображати ефекти, що дозволяють сприймати обсяг, такі як паралакс руху, він заздалегідь прораховує кілька десятків панорам для різних положень голови. Завдяки цьому користувач може рухати головою в сторони і бачити відповідні зміни в зображенні.

Нещодавно фахівці з Facebook представили алгоритм для двокамерних смартфонів, що дозволяє їм знімати об'ємні панорами. Після зйомки фотографій алгоритм склеює всі зображення в єдину панораму і накладає їх на 3D-модель сцени, створену на основі даних про глибину на кожному кадрі.