Disney навчила віртуального персонажа копіювати позу людини

Дослідники з Disney Research створили додаток, що використовує звичайну камеру на мобільному пристрої для розпізнавання пози людини і накладення на відео з камери віртуального персонажа з такою ж позою. Розробка була представлена на конференції CGVCVIP 2018.

Зазвичай для розпізнавання положення людського тіла та окремих його частин застосовуються набори датчиків, що закріплюються прямо на тілі і реєструють рухи самостійно, або маркери на тілі, які розпізнаються системою комп'ютерного зору. Це дозволяє отримувати точні результати, але незручно слабо застосовно в повсякденному житті. В останні роки з'явилася більш зручна альтернатива у вигляді алгоритмів, здатних визначати позу людини на звичайних відеозаписах без додаткових пристосувань.

Група дослідників з Disney Research під керівництвом Мартіна Гуея (Martin Guay) створила додаток, що вміє розпізнавати положення частин тіла по знімку зі звичайної камери, підбирати аналогічну позу для віртуального персонажа і коректно накладати його на відео з камери. Алгоритм спочатку створює почесну модель тіла людини на основі монокулярного зображення (отриманого з однієї камери), а потім проектує цю пропорційну модель на тривимірний підпростір, складений із заздалегідь заданого набору поз віртуального персонажа.

Розробники вибрали обмежений набір поз, щоб спростити підбір відповідності і усунути помилки, пов'язані з визначенням глибини на почесному зображенні з камери. Крім того, додатку потрібен візуальний маркер, що допомагає створювати тривимірну сітку для коректного накладення персонажа на відео з камери. Як маркер автори використовували плакат з назвою програми.

Для розпізнавання положення частин тіла дослідники застосували відкритий алгоритм OpenPose. Він отримує зображення з камери, а на виході повертає список розташувань полонень частин тіла і ймовірність для кожного з них. Нейромережу навчили на великому наборі зображень з людьми і розміченими на них моделями тіла. Варто зазначити, що алгоритм вимагає великої обчислювальної потужності, тому після зйомки зображення пересилалися на сервер для обробки. Після отримання даних про розташування частин тіла інший алгоритм знаходив найбільш схожу позу віртуального персонажа із заздалегідь сформованого набору. У підсумку додаток відображає поруч з користувачем віртуального двійника, що копіює позу людини:

Алгоритми комп'ютерного зору, що працюють без маркерів та інших пристосувань, застосовують не тільки в розважальних цілях. Наприклад, нещодавно інженери з Великобританії та Індії створили патрульний дрон для автоматизованого розпізнавання насильницьких дій у натовпі, а інша група вчених застосувала схожий алгоритм для відстеження рухів лабораторних тварин, у тому числі і невеликих, наприклад, дрозофіл.