Колективний ШІ обігнав людину і набрав максимум очок в Ms. Pac-Man

Канадська компанія Maluuba, що належить Microsoft, розробила програму, яка за допомогою колективної взаємодії декількох нейромереж набрала в грі Ms. Pac-Man для приставки Atari 2600 максимально можлива кількість очок. Про це розповідається в блозі Microsoft.

Гра Ms. Pac-Man - це ускладнена версія оригінального Pac-Man, що отримала широке поширення в аркадних автоматах у США. Від оригінального Pac-Man гра відрізняється дизайном рівнів, а також поведінкою привидів і фруктів у лабіринті.

За даними порталу High Score, серед людей перше місце за кількістю набраних окулярів у Ms. Pac-Man на Atari 2600 належить користувачеві oyamafamily, який набрав у 2015 році 266330 очок. Тепер програма, розроблена дослідниками Maluuba, набрала 999990 очок, що є максимально можливою кількістю очок у грі, оскільки за ним слідує обнулення результату.

Для того, щоб досягти такого рівня гри, розробники використовували технологію навчання з підкріпленням, однак грі навчалася не одна нейромережа, а понад 150 агентів, кожен з яких відповідав за ефективне вирішення невеликого завдання - наприклад, відхід від привидів або взяття конкретної кульки в лабіринті. Усіма агентами керувала головна нейромережа, яка приймала від них дані і вирішувала, куди саме попрямує Ms. Pac-Man.

Дослідники нерідко тренують системи штучного інтелекту на різних іграх. В якості платформи для таких досліджень нерідко вибирається стара відеоприставка Atari 2600 (1, 2, 3). Зовні прості ігри для старих приставок часом виявляються досить складними для освоєння не тільки людиною, але і комп'ютером.