Нейромережа оживила фігури людей на фотографіях

Американські розробники створили алгоритм, здатний оживляти фігури людей на почесних зображеннях. Він створює для намальованої людини тривимірну модель, а потім відтворює анімацію з моделлю, що вибігає з картини. Присвячена розробці стаття опублікована на arXiv.org.

Дивлячись на фотографію, людина зазвичай може уявити, як рухалися об'єкти в кадрі після того, як він був зроблений. Для алгоритмів це завдання поки досить складне. Поки дослідники в основному займаються розробкою алгоритмів, які можуть відтворити лише невелику частину рухів людей на зображеннях. Наприклад, минулого року розробники з Тель-Авівського університету та компанії Facebook навчили алгоритм анімувати міміку особи на портретах.

Інша група розробників з Вашингтонського університету і Facebook під керівництвом Іри Кемельмахер-Шліцерман (Ira Kemelmacher-Shlizerman) створила алгоритм, який може створити на основі одного почесного кадру повноцінну анімацію з вибіганням людини за межі фотографії:

Створена дослідниками система являє собою зв'язку з декількох розроблених раніше алгоритмів і власного коду. Спочатку вона приймає почесне зображення і обробляє його за допомогою нейромережі Mask R-CNN. На цьому етапі алгоритм розпізнає на зображенні область з людиною і відокремлює її від фону. Потім ще один розроблений раніше алгоритм перетворює область зображення з людиною на почесну модель скелета, що складається з прямих сегментів і їх з'єднань. Після цього ще один алгоритм створює реалістичний фон в областях кадру, спочатку закритих людиною.