Нейромережа навчилася розпізнавати музику фортепіано за роликом, навіть якщо звуку немає

Не так вже й складно уявити комп'ютерну програму, яка могла б візуально визначати, які музичні твори виконуються у відеороликах з грою на фортепіано, навіть якщо включити їх без звуку. Однак нова система штучного інтелекту йде далі, реалістично відтворюючи в цифровому вигляді саму музику.

Вчені навчили нейромережу розпізнавати мелодію за положенням рук і тривалістю натискання клавіш

Технологія, відома як Audeo, була розроблена командою Вашингтонського університету. Вона включає в себе програмне забезпечення зі штучним інтелектом, яке було навчено приблизно на 172 000 кадрів відео із зображенням піаніста Пола Бартона, який грає музику класичних композиторів, таких як Моцарт і Бах.

Під час аналізу беззвучного відео система починає зі спостереження за тим, які клавіші натискаються в якому порядку, визначення окремі ноти та їх розташування. Тим не менш, вона також сприймає силу натискання на кожну клавішу і час її утримання - це дозволяє визначити інтенсивність кожної ноти і тривалість часу, протягом якого вона зберігається під звуком наступних програваних нот. Також враховуються відмінні акустичні характеристики фортепіано.

Потім ці дані перетворюються на формат, зрозумілий для існуючого цифрового синтезатора. За словами вчених, коли синтезатор відтворює музичний файл, той звучить дуже схоже на оригінальну фортепіанну музику, а не просто як 8-бітний рінгтон.

При тестуванні Audeo було доручено відтворити фортепіанну музику на основі відеороликів без звуку, на яких Бартон грає музичні твори, яких система раніше не бачила. Коли програми для розпізнавання музики, такі як SoundHound, проаналізували ці репродукції, вони змогли розпізнати музичний твір з точністю близько 86%. У свою чергу, коли додатки проаналізували оригінальний звук фортепіано в тих же відеороликах, точність їх розпізнавання піднялася до 93%. Цей розрив повинен зменшуватися в міру подальшого розвитку технології.

«Ми сподіваємося, що наше дослідження відкриє нові способи взаємодії з музикою», - заявив професор Елі Шлизерман, старший автор дослідження. "Наприклад, одним з майбутніх можливих додатків є те, що Audeo може бути розширений до віртуального піаніно з камерою, що записує тільки руки людини. Крім того, помістивши камеру поверх справжнього піаніно, Audeo потенційно може допомогти вчитися студентам-новачкам, відстежуючи позицію їхніх рук.