Нейромережа навчилася реалістично переносити міміку і рухи голови

Американські дослідники створили нейромережу для реалістичного перенесення міміки людей між відеозаписами. На відміну від попередніх подібних розробок, вона змінює безліч параметрів голови людини: її нахил, форму рота, напрямок погляду та інші. Робота буде представлена на конференції SIGGRAPH 2018.

В останні кілька років з'явилася велика кількість робіт і сервісів, що використовують нейромережі для перенесення стилю або деталей між різними зображеннями. Але деякі дослідники займаються більш складним завданням - реалістичним перенесенням рухів і міміки між двома відеозаписами людей. У цій області вже є досить серйозні розробки, проте, всі вони мають серйозні недоліки і не можуть повноцінно переносити міміку між особами. Наприклад, вчені з Вашингтонського університету навчилися переносити вираз обличчя і його нахил на об'ємну модель обличчя іншої людини, а також реалістично вставляти мову у відеоролик, змінюючи положення доль на відео. Інші дослідники навчилися переносити більшу частину міміки на реальний ролик з іншою людиною, але їх алгоритм не враховує положення голови на ролику, з якого виробляється перенесення.

Тепер ці дослідники з Інституту інформатики Суспільства Макса Планка та інших німецьких інститутів об'єдналися з колегами з Франції, Великобританії і США і створили більш досконалу версію алгоритму, що дозволяє реалістично переносити поведінку людини з одного відео в інше. Як вихідні дані програма приймає два відеоролики, на яких великим планом знято людину. Потім з обох роликів витягуються основні параметри осіб - вираз обличчя, що описується безліччю ознак, положення голови і напрямок погляду. Після цього моделі обличчя з цільового ролика присвоюються параметри рухів моделі з вихідного ролика-зразка, хоча саме обличчя береться з ролика з людиною, якій присвоюються нові емоції. Потім алгоритм створює фотореалістичні рендери цільового обличчя з новими параметрами і ці рендери передаються нейромережі, яка перетворює рендери на реалістичний ролик.

Головна відмінність нового алгоритму від попередніх розробок в цій області полягає в тому, що він реалістично переносить всі рухи вихідної особи, а також реалістично підлаштовує фон за особою, аналізуючи інші кадри з ролика. Крім цього алгоритм дозволяє вручну в реальному часі змінювати положення і вираз обличчя на ролику. Розробники продемонстрували різні сценарії використання нейромережі і порівняння з аналогічними алгоритмами:

Автори провели дослідження на добровольцях і показали, що людям складно зрозуміти, що відео, яке він показує, насправді створено нейромережею на основі ролика з іншою людиною. Розробники також розповіли про недоліки методу. Наприклад, ефективність алгоритму, як і інших нейромереж, сильно залежить від тренувальних даних, і, якщо він стикається з незнайомим йому виразом обличчя, на кінцевому відео можуть з'явитися помітні артефакти замість реалістично перенесеної міміки.

Оскільки подібні технології, що дозволяють створювати реалістичні ролики з іншими людьми, викликають побоювання в суспільстві, нещодавно група вчених, до якої входять два автори нової роботи, створила алгоритм для виявлення подібних підробок. Він може ефективно розпізнавати підміну міміки або самих осіб на відеороликах, причому навіть стиснутих.