Нейромережа навчилася реалістично розфарбовувати чорно-білі знімки

Дослідники з Каліфорнійського університету в Берклі створили програму, здатну реалістично розфарбовувати чорно-білі фотографії. Препринт роботи доступний на arxiv.org. Коротко про дослідження розповідає PetaPixel. Вихідний код опубліковано в репозиторії GitHub.

Автори роботи використовували згорточну нейронну мережу (CNN), для навчання якої використовувалися готові класифіковані набори зображень, у тому числі SUN. Завдяки цьому програма для обробки зображення визначає, до якого типу сцен належить зображення і орієнтується на подібні знімки під час добору кольорів.

При оцінці результатів роботи програми учасники опитування в 20 відсотках випадків вважають, що знімки розфарбовані людиною. Автори роботи зазначають, що цей показник вищий, ніж у попередніх досліджень у цій же галузі.

Раніше була представлена нейромережа, яка вміє створювати зображення в стилістиці, що задається картинами художників. На «вхід» подається зразок стилю у вигляді картини і її семантичної карти, яка фактично представляє поділ зображення на зони схожої фактури, і простий начерк того, що повинно вийти.