Нейромережа допомогла замінити фортепіано восьмикнопальним контролером

Інженери з Google створили контролер, що дозволяє грати на фортепіано, використовуючи всього вісім кнопок. Після натискання кнопки навчений нейросетевий алгоритм самостійно підбирає для кожного натискання однієї з восьми кнопок найбільш підходящу комбінацію з клавіш фортепіано, розповідають розробники в статті, доступній на arXiv.org.

Автоматизація торкнулася вже багатьох областей, в тому числі і музики. Значна частина дослідників, які працюють у цій сфері, зосереджені на створенні алгоритмів, здатних самостійно створювати нову музику, навчаючись на вже існуючих композиціях, створених людьми. Деяким вченим вже вдалося досягти результатів у цій сфері, але поки створені ними алгоритми все ще сильно відстають від людей. Крім того, такий підхід часто не бере до уваги психологічний аспект - творець алгоритму не може сприймати написану ним музику як результат своєї творчості.

Група розробників з компанії Google і належної їй компанії DeepMind під керівництвом Сандера Ділемана (Sander Dieleman) вибрали інший підхід і створили нейромережевий алгоритм і пристрій для нього, які беруть участь у написанні музики, але все ж роблять це під керівництвом людини.

Алгоритм заснований на двох рекуррентних нейромережах з довгою короткостроковою пам'яттю (LSTM), які виконують протилежні завдання. Одна з нейромереж працює як кодувальник, а інша як декодувальник. Завдання кодувальника полягає в перетворенні послідовностей натискання комбінацій з 88 клавіш реального фортепіано в послідовності натискань восьми клавіш контролера. Декодувальник, у свою чергу, навпаки перетворює натискання клавіш контролера на комбінації клавіш фортепіано.

Варто зазначити, що під час роботи контролеру потрібен лише декодувальник. Дослідники створили алгоритм перетворення 88-клавішних послідовностей на восьмиклавішні через те, що для навчання нейромережі потрібно багато прикладів гри на фортепіано, а для восьмиклавішного контролерів таких даних немає. Таким чином, розробники спочатку створили на основі приблизно 1400 записів гри на фортепіано датасет з синтезованих 8-клавішних послідовностей, а потім з його допомогою навчили алгоритм, який перетворює натискання 8 клавіш на комбінації 88 клавіш.

У результаті декодувальник навчився перетворювати натискання клавіш контролера на повноцінну гру на фортепіано. Цікаво, що завдяки використанню довгої короткострокової пам'яті перетворення залежить від того, якими були попередні натискання. Розробники реалізували алгоритм як у вигляді реального контролера, так і у віртуальному вигляді, який може використовувати будь-хто.

Розробники з Google не вперше створюють незвичайні музичні інструменти на основі нейромереж. Наприклад, на початку року вони представили проект відкритого музичного синтезатора, який створює нові звуки, не змішуючи кілька існуючих, а використовуючи для цього їхні акустичні характеристики.