Нейромережа «прибрала» автомобілі з вулиць

Програміст Кріс Харріс (Chris Harris) створив додаток для смартфона, що «видаляє» автомобілі з вулиць. Воно працює на основі нейромереж, які розпізнають автомобілі і замінюють області з ними на кадрі на синтезоване фонове зображення вулиці.

В останні роки в галузі машинного навчання спостерігається великий прогрес і найбільш помітний він в області алгоритмів для роботи з зображеннями. Наприклад, програми вже вміють реалістично переносити міміку з обличчя однієї людини на обличчя іншої, а також створювати повністю синтезовані відеоролики. Деякі серйозні нейромережеві алгоритми для обробки вже доступні для масового використання. Наприклад, нещодавно Adobe впровадила у відеоредактор After Effects функцію автоматичного видалення об'єктів з відео та заміну їх на реалістичне тло. Але ця функція вимагає від користувача вручну виділяти об'єкти, які його цікавлять, а також витрачає деякий час на розрахунок змін.

Розробник Кріс Харріс (Chris Harris) показав, як схожу технологію можна використовувати в реальному часі для «видалення» автомобілів з вулиці. На опублікованому відео можна бачити, як нейромережевий алгоритм замінює автомобілі в кадрі на синтезоване фонове зображення.

Автор ролика не розповів, як саме працює алгоритм, однак деякі припущення про його роботу все ж можна зробити. Мабуть, в алгоритмі використовуються дві нейромережі, одна з яких розпізнає автомобілі в кадрі і виділяє їх, а друга працює з виділеними областями. Судячи з того, що на деяких кадрах явно видно змінену прямокутну область, в алгоритмі не використовується окрема мережа для семантичної сегментації. Зазвичай такі нейромережі застосовують для відносно акуратного виділення об'єкта певного типу в кадрі.

Ймовірно, нейромережа для створення фону враховує сусідні області на кадрі, тому що на деяких кадрах вона домальовує стовбури дерев і стовпи, закриті автомобілем. Разом з цим, вона не враховує сусідні кадри при формуванні фону, тому що на відео можна бачити, що в деяких випадках алгоритм домальовує ствол дерева або стовп навіть якщо на попередніх кадрах видно, що він закритий не автомобілем, а іншим об'єктом на тлі. Варто відзначити, що поки створений програмістом алгоритм - швидше демонстрація принципової можливості такого підходу, ніж готова для реального використання технологія.

Раніше інші розробники створювали схожі технології для блокування деяких об'єктів у реальному світі. Наприклад, у 2015 році американський програміст створив шолом доповненої реальності, що розмиває зображення брендів на предметах перед користувачем.