Нейромережа Nvidia робить slow-mo високої якості зі звичайних відео

Нейромережа компанії Nvidia «навчили» створювати дивно «гладкі» slow-mo зі стандартних відео з частотою 30 кадрів на секунду, «додумуючи» і генеруючи відсутні кадри.

Багато сучасних фотоапаратів і смартфонів вміють знімати відео в slow-mo, однак цей процес вимагає досить швидкого процесора і чимало пам'яті. Наприклад, режим Super Slow Motion на Sony Xperia XZ2 знімає 960 кадрів на секунду - таким чином, об'єм даних, що обробляється, перевищує такий при зйомці зі стандартними 30 кадрами в секунду в 32 рази.

Nvidia ж запропонувала інше рішення для створення slow-mo відео. Компанія створила алгоритм, який конвертує в slow-mo вже готове відео - причому, на відміну від більшості інших рішень, технологія Nvidia використовує машинне навчання для «додумування» нових, відсутніх кадрів. (Нейромережа натренували на більш ніж 11 000 референсних slow-mo роликах (спортивних репортажах), спочатку знятих з частотою 240 кадрів в секунду.) Вона «навчилася» генерувати проміжні, допоміжні кадри, за допомогою яких і створюється дивовижно «гладкий» ролик в slow-mo при 240 кадрах в секунду (для конвертації в slow-mo відео, записаного з частотою 30 кадрів в секунду, необхідно додатково створити 210 кадрів).

«Хоча за допомогою сучасного смартфона можна зняти відео з частотою 240 кадрів в секунду, записувати при такій кадровій частоті - непрактично, так як вимагає великих обсягів пам'яті і є занадто енерговитратним для мобільних пристроїв», - пишуть дослідники в роботі, доступній в бібліотеці препринтів arXiv. З цих та інших причин великий інтерес представляє можливість генерувати високоякісні slow-mo відео з вже існуючих ".

Дослідники представлять розробку на конференції 2018 Conference on Computer Vision and Pattern Recognition, яка проходить на цьому тижні в Солт-Лейк-Сіті, штат Юта, США. Поки, як зазначають розробники, система оптимізована недостатньо добре і потребує доопрацювання; коли вона може вийти на ринок і з'явитися, наприклад, у смартфонах, невідомо.