Нейромережа навчили створювати піксельну графіку

Китайські дослідники розробили алгоритм на базі згорточних нейромереж, здатний створювати якісну піксельну графіку зі звичайних намальованих зображень, а також відновлювати згладжене зображення з піксельної графіки. Розробники застосували метод навчання без учителя, завдяки чому їм не довелося вручну створювати для навчання пари звичайних і піксельних зображень. Присвячена алгоритму стаття буде представлена на конференції SIGGRAPH Asia 2018.

Піксельна графіка, також відома як піксель-арт, зародилася в 1970-х роках як спосіб відтворити реальні або вигадані об'єкти на моніторах з низькою роздільною здатністю. Незважаючи на те, що на сьогоднішній день дозвіл поширених моніторів становить мільйони пікселів, і вони здатні відображати вкрай реалістичну 3D-графіку, піксельна графіка залишилася досить популярною і використовується, наприклад, у багатьох сучасних відеоіграх.

Зазвичай таку графіку доводиться створювати вручну на рівні окремих пікселів. Якщо малюнок заснований на реальному зображенні, художнику необхідно не просто зменшити його роздільну здатність, а переробити, залишивши глобальну структуру об'єкта і лише важливі деталі. Через це створення піксельної графіки вимагає багато часу і зусиль, і деякі дослідники займаються створенням алгоритмів, здатних автоматизувати цей процес.

Дослідники під керівництвом Тянь-Цзінь Вона (Tien-Tsin Wong) з Китайського університету Гонконгу створили алгоритм, здатний створювати якісну піксельну графіку, що нагадує роботу справжніх художників. Алгоритм складається з трьох згорточних нейромереж і працює в двох напрямках. На вході він отримує вихідне зображення у високій роздільній здатності, що володіє великою кількістю деталей. Це зображення подається на нейромережу GridNet, яка створює на його основі попередній набір з трьох зображень з кількома рівнями пікселізації. Результат роботи цієї мережі передається на мережу PixelNet, яка перетворює цей набір зображень на три зображення, виконаних у стилі піксельної графіки. Наприкінці роботи алгоритму піксельні зображення передаються на мережу DepixelNet, яка ідентична PixelNet за будівлею, але виконує зворотну функцію - створює згладжене зображення, що нагадує оригінал.

Розробники створили кілька функцій втрат, що зв'язують різні підмережі і дозволяють мінімізувати відмінність структури і кольорів на зображеннях, отриманих на різних етапах роботи алгоритму.

Одна з головних проблем при навчанні алгоритму полягала в складності створення набору навчальних пар, що складаються зі звичайного і піксельного зображень, оскільки малювання піксельної графіки вимагає багато часу і зусиль. Замість цього дослідники створили два датасети, що складаються з 900 звичайних намальованих зображень та інших 900 зображень у стилі піксель-арт. Під час навчання алгоритм навчався в обох напрямках - створенню піксельної графіки зі звичайних зображень і навпаки. У результаті розробникам вдалося навчити алгоритм створювати з довільного намальованого зображення якісну піксельну графіку, яка за рівнем промальовки перевершує результати робіт інших алгоритмів.

Крім малювання піксельної графіки нейромережі досягли успіху і в створенні реалістичних картин, виконаних у класичних стилях. Наприклад, вони вміють перетворювати примітивні зображення на картини, що нагадують стиль відомих художників і навіть поєднувати в одній згенерованій картині відразу кілька стилів. Крім того, деякі з них після навчання на безлічі реальних картин здатні не просто перетворювати фотографії на картини, а й створювати оригінальні твори мистецтва.