Алгоритм відтворив движок Super Mario Bros. по відеозапису гри

Дослідники з Технологічного інституту Джорджії створили алгоритм, який спостерігає за записом проходження ігор, і на основі цих даних відтворює їх ігровий движок без доступу до вихідного коду. Хоча, одержуваний результат не ідентичний вихідним даним, в цілому алгоритм відтворює ігри досить точно. Робота була представлена на конференції IJCAI 2017, а її текстова версія доступна на сайті університету.

Фахівці в галузі штучного інтелекту і машинного навчання нерідко використовують свої знання для створення ігрових алгоритмів. Іноді такі системи навіть перевершують людей, як у випадку з алгоритмом AlphaGo, який на початку року переміг найсильнішого гравця в го в світі. Однак зазвичай такі алгоритми вміють саме грати в ігри, але не створювати їх.

Американські вчені вже кілька років займаються вирішенням другого завдання. Тепер вони створили алгоритм, який відтворює ігровий движок простих почесних ігор без доступу до його вихідного коду. Для цього вони використовували гру з порівняно невеликою кількістю деталей - Super Mario Bros. - відому гру-платформер, в якій персонаж переміщується по горизонтальних поверхнях.

Для початку дослідники сформували масив з усіх об'єктів, щоб алгоритм міг надалі розпізнавати їх на кадрах. Потім алгоритм за допомогою відкритої бібліотеки комп'ютерного зору OpenCV розпізнавав ці об'єкти на відеозаписах проходження гри. Крім цього система розпізнавала анімацію і взаємодію між об'єктами. Маючи ці дані алгоритм намагався передбачити наступні кадри на основі знання про попередні, і порівнював їх з реальним записом. У разі значних невідповідностей він намагався вивести правила, що пояснюють ці відмінності.

Дослідники перевірили якість нового движка за допомогою іншого алгоритму, що вміє проходити цю гру. Порівняння показало, що незважаючи на деякі візуальні невідповідності, ігровий процес залишився незмінним, і агент не стикався з непрохідними перешкодами, наприклад, провалюваною підлогою.

У 2015 році інженери з Технологічного інституту Джорджії вже представляли схожу роботу. Тоді створили алгоритм, який на основі роликів із записами проходження ігор створює для них нові рівні. Отримані таким чином рівні можна завантажити в оригінальну гру і пройти.