Нейромережа прималювала Моне Лізе обличчя Бенедикта Камбербетча

Американські розробники навчили нейромережу достовірно розфарбовувати вставлені в картини сторонні об'єкти - в якості одного з прикладів автори прималювали Моне Лізе обличчя Бенедикта Камбербетча. Завдання виконується в три кроки: вставлення об "єкта, розмальовування та налаштування текстури. Препринт статті з описом роботи алгоритму доступний на arXiv.org.

Додати сторонній об'єкт у фотографію - завдання досить просте: з нею давно вміють справлятися сучасні графічні редактори. Однак у подібного «домальовування» є важливе обмеження: об'єкт потрібно не тільки вставити, але і дотримати стиль всього твору. Вручну це зробити дуже складно: припустимо, якщо ми хочемо вставити будиночок на картину Моне, необхідно буде намалювати його в стилі імпресіонізму, а також підібрати кольори так, щоб він достовірно зливався з оточенням (фоном) картини. Зараз існують спеціальні алгоритми, які дозволяють представити фотографії в певному художньому стилі, але з завданнями локальної розмальовки вони справляються погано.

Для того, щоб вирішити це завдання, розробники з Корнеллського університету та Adobe Research під керівництвом Фужуна Луана (Fujun Luan) представили алгоритм, який може достовірно вставляти об'єкти в картини, зберігаючи при цьому стилістику цільового твору.

Алгоритм працює в три кроки. Перший - найпростіший - вставляє потрібний об'єкт на картину. Під час другого кроку відбувається перше розмальовування вставленого об'єкта: за допомогою методу k-найближчих сусідів колір об'єкта зіставляється з кольором оточення і розфарбовується відповідним чином. Під час третього кроку алгоритм відновлює текстуру об'єкта відповідно до тла і позбавляє кінцевий продукт від можливих артефактів - також за допомогою найближчих сусідів.

В результаті дослідникам вдалося навчити нейромережу достовірно переносити об'єкти на зображення різних стилів. Автори роботи зазначають, що високої якості порівняно з іншими алгоритмами, представленими раніше, їм вдалося домогтися завдяки перенесенню стилю не між обширними областями зображення (в цьому випадку об'єкт змішується з фоном), а локально - як порівнюючи за стилем об'єкт і найближчий до нього фон, так і змінюючи стиль самого об'єкта всередині.

Результати роботи (17 створених картин) потім показали добровольцям разом зі схожими картинами, створеними за допомогою інших підходів. У більшості випадків (15 з 17) учасники опитування вважали достовірним перенесення об'єкта, зроблене за допомогою нового алгоритму.

Розробники створюють алгоритми для роботи не тільки зі статичними зображеннями, а й відео. Наприклад, у нашій замітці ви можете дізнатися про те, як у NVIDIA навчилися синтезувати реалістичні відеоролики.