Нейромережі зробили з Ван Гога мультиплікатора

Німецькі вчені застосували нейромережі для перенесення художнього стилю Вінсента Ван Гога, Едварда Мунка та інших художників на мультфільми. Препринт публікації доступний на arXiv.org.

Співробітники Фрайбурзького університету скористалися недавніми напрацюваннями з перенесення стилю художників на статичні ілюстрації. Ці роботи показали, що стиль не залежить від змісту картини, і його можна застосувати до будь-якого зображення. Для цього поверхневі шари згорточної нейронної мережі розпізнають найбільш загальні ознаки, такі як колірна палітра, а зі збільшенням їх глибини деталізація зростає.

Автори дослідження застосували відому нейронну мережу VGG. З її допомогою вони переносили стиль художника з конкретної картини на кожен кадр відео. Розроблений ними алгоритм аналізував різницю між подальшими кадрами з часовими обмеженнями, що відбраковують надмірні відмінності.

Щоб зробити перехід від кадру до кадру плавним, ці обмеження враховували оптичний потік оригінального відео, і відбраковували відмінності не за кадрами в цілому, а за траєкторіями окремих точок. Ділянки кадрів, які до цього були заслонені рухомими об'єктами, у відбраковку не включалися.

Обробка кожного кадру проводилася паралельно до графічних і основних процесорів з роздільною здатністю 1024 ^ 463 пікселя. Спочатку це займало близько восьми хвилин на кадр, у процесі оптимізації середній час знизився до трьох хвилин на кадр.