Нейромережа навчили в реальному часі перетворювати начерки на фотографії

Американські і британські розробники створили додаток, в якому користувач може зробити начерк і відразу ж отримати зображення, створене нейромережею на його основі. Алгоритм складається з двох частин, одна з яких домальовує начерк, а друга перетворює домальовану картинку на фотографію. Розробка буде представлена на конференції ICCV 2019, стаття про неї опублікована на arXiv.org.

Протягом останніх років розробники створили безліч алгоритмів для генерації зображень, які часом складно відрізнити від реальних фотографій. Наприклад, помітних результатів досягли розробники з NVIDIA, які навчили нейромережі синтезувати фотографії неіснуючих людей, а також реалістичні відеоролики. Пізніше розробники почали створювати доступні звичайним користувачам програми, в яких легко перетворити простий начерк або кольоровий малюнок на фотореалістичне зображення. Однак ці програми працюють або не в реальному часі, або вимагають від користувача самостійно малювати повний начерк.

Розробники під керівництвом Елі Шехтман (Eli Shechtman) з Adobe Research створили додаток, який в реальному часі самостійно домальовує начерк і перетворює його на синтезовану фотографію. Програма складається з двох вікон і допоміжних кнопок. У першому вікні користувач малює начерки, а в другому бачить створене нейромережами зображення. Для початку користувач вибирає клас об'єкта, наприклад, ананас, і алгоритм відразу ж видає типовий для нього начерк. Після початку малювання нейромережа постійно оновлює начерк, доповнюючи частину, намальовану користувачем.

Автори розбили проблему на дві частини і використовували для її вирішення зв'язку з двох генеративно-змагальних нейромереж. На першому етапі алгоритм, навчений на начерках певного класу, отримує початковий начерк користувача і домальовує його до повного. На другому етапі на основі домальованого начерку формується реалістичне зображення.

Розробники створили власний датасет для навчання нейромереж, що складається з фотографій і начерків об'єктів десяти типів. Начерки створювалися автоматично на основі країв об'єктів на фотографіях. У своїй роботі автори протестували дві схеми, і створили не тільки десять окремих нейромережевих моделей для кожного класу, а й багатокласовий генератор, який створює різні зображення залежно від умовного вектора.

Крім публікації статті про розробку автори також опублікували на GitHub вихідний код програми для Linux і macOS, а також коротку документацію.

Цікаво, що існує і зворотний проект, що перетворює фотографії на начерки. Торік австралійський інженер створив картонну камеру, яка після натискання кнопки знімає фотографію, перетворює її на начерк, а потім відразу ж друкує на вбудованому термопринтері.