Нейронна мережа навчилася перетворювати фотографії на полотна Мунка і Пікассо

Колектив вчених з Німеччини розробив штучну нейронну мережу, яка дозволяє «синтезувати» зображення з двох незалежних джерел: одне з них дає тільки зміст, інше - тільки стиль. На підставі цього методу автори обробили фотографію з пейзажем німецького міста Тюбінген, використовуючи стилі кількох знаменитих картин, наприклад «Зоряну ніч» Вінсента ван Гога і «Крик» Едварда Мунка. Препринт з описом роботи викладено на .В основі методу лежить навчання згорточних нейронних мереж на двох різних зображеннях і подальше злиття отриманих наборів ознак в один. Автори показали, що зміст і об'єкти краще вдається описати за допомогою великих шарів нейронної мережі, що захоплюють великі ділянки зображення. Однак для опису стилю, навпаки, краще використовувати дані шарів мережі, які описують з локальними ділянками зображення. Вчені використовували в роботі популярну нейронну мережу VGG-Network. Спочатку її «навчали» на єдиній фотографії - пейзажі місто Тюбінген, а потім на одній з картин, наприклад, «Зоряної ночі». При цьому в першому випадку набір ознак вибирався з метою розпізнавання об'єктів на фотографії, а по-друге - для розпізнавання текстури і дрібних деталей. Далі за допомогою лінійної комбінації цих наборів ознак вчені синтезували нову картинку, за кроками змінюючи «вихідник» - зображення, де кожен піксель генерувався за допомогою білого шуму.

У підсумку автори отримували одну й ту саму фотографію, спотворену відповідно до обраного стилю. При цьому вчені показали, що варіюючи «вклади» від різних шарів нейронної мережі, можна налаштовувати зовнішній вигляд картинці змінювати «кількість» стильових елементів на ній. Таким чином можна отримати як фотографію, дуже близьку до оригіналу, так і зображення з характерною стильовою текстурою, в якій неможливо розрізнити зміст вихідного матеріалу. Нову роботу вже випробував аспірант Стенфордського університету Андрій Карпатий, який у своєму твіттері виклав кілька фотографій, оброблених таким чином. Серед них, наприклад, його портрет у стилі Вінсента ван Гога, а також знімок Гендальфа (Іена Маккелена) з «Володаря перснів» у стилі Пабло Пікассо. Зараз ці пости видалені, проте зі скріншотами можна ознайомитися в статті на Mashable.