Емоції навчилися «натягувати» з однієї особи на іншу в режимі реального часу

Група дослідників з Університету Ерлангена - Нюрнберга, Інституту інформатики Товариства Макса Планка і Стенфордського університету розробили систему, яка дозволяє з високою точністю в режимі реального часу анімувати обличчя однієї людини, використовуючи як джерело міміки обличчя іншої. Дослідження буде опубліковано в журналі, з препринтом статті можна ознайомитися на сайті Стенфордського університету.

За допомогою датчика глибини зображення система будує маску для кожного з двох учасників трансляції. До маски прив'язані умовні мімічні точки на поверхні обличчя. Зчитуючи деформацію маски джерела, система в режимі реального часу створює фотореалістичну анімовану версію обличчя приймаючої сторони поверх справжнього зображення.

Апаратна конфігурація системи доступна для придбання широкому колу осіб. Зокрема, в системі, продемонстрованій на відео, використовувалася камера Asus Xtion PRO і комп'ютер з процесором Intel Core i7 і відеокартою Nvidia GTX980. Обчислювальних потужностей подібної робочої станції вистачає для роботи на льоту з відеопотоком роздільною здатністю 1280x1024 пікселів.

Завдяки технології відстеження руху система може передавати емоції навіть при різному положенні голови джерела і приймаючої сторони, а спотворення стають видно, тільки коли в кадрі з'являється об'єкт, що перекриває обличчя або голова відхиляється від камери на занадто великий кут. Також система враховує освітлення і кольоропередачу, тому може використовуватися в якості віртуального дзеркала.

Подібні розробки можуть стати в нагоді при створенні комп'ютерних ігор, при дубляжі кінофільмів на різні мови або при організації прямих трансляцій різними мовами. Раніше схожу розробку продемонстрували дослідники з Вашингтонського університету, проте в їхньому випадку модель емоцій з обличчя джерела «натягувалася» на модель на основі фотографії інших людей і передавала міміку особи в тому ж ракурсі, що і джерело.