Нейромережа поліпшить стрімінг відео

Фахівці з Лабораторії комп'ютерних наук і штучного інтелекту MIT розробили Pensieve - технологію адаптації мовлення, яка дозволяє зменшити час буферизації відео і залежність від нього комфорту користувача. Нейромережа здатна поліпшити якість сприйняття відео під час завантаження на 25 відсотків, що значно випереджає інші подібні алгоритми. Опис роботи нейромережі, вихідний код, а також стаття доступні на сайті лабораторії. Сама технологія буде представлена на конференції в Лос-Анджелесі 21-25 серпня.

Швидкість інтернету, особливо мобільного, дуже часто не дозволяє вантажити відео до кінця і дивитися їх без буферизації. Розробники сайтів з медіаконтентом, такі як YouTube, використовують технології адаптивного бітрейт-стрімінга (англ. adaptive bitrate streaming, коротко ABR streaming), які дозволяють автоматично налаштовувати бітрейт (кількість біт на одну секунду мультимедійного контенту) відео і, відповідно, його роздільну здатність, скорочуючи час завантаження відео при низькій швидкості з'єднання. Однак, правила, які використовуються алгоритмами адаптації біта, прості і фіксовані (найчастіше вони ґрунтуються тільки на швидкості з'єднання), що призводить до некоректної роботи алгоритму і, як наслідок, до зменшення якості сприйняття (параметр, що визначає задоволення споживача).

Автори нової роботи представили алгоритм адаптації бітрейту мовлення Pensieve. Він заснований на роботі нейромережі, яка працює за принципом навчання з підкріпленням: приймаючи на вхід дані про бітьот, швидкість з'єднання і буферизацію відео, Pensieve адаптує стрімінг і отримує на вихід відео кращої якості, що служить «підкріпленням» для його роботи надалі.

Якість відео, отриманого в результаті роботи нейромережі, на 25 відсотків перевершує якість, отриману в ході роботи інших подібних алгоритмів, а частка буферизації відео під час стрімінгу знизилася на 30 відсотків.

Дослідники відзначають, що їх технологія може багато в чому поліпшити якість не тільки стрімінгу відео, але й інші області використання мультимедійних даних, наприклад, систему доповненої реальності.

Нейромережі часто використовують для розробки алгоритмів поліпшення якості медіа. У нашій замітці ви можете дізнатися про те, як розробники Disney Research використовують машинне навчання для того, щоб прибирати шум з мультфільмів.