Нейромережа передбачила точку падіння м'яча в настільному тенісі ще до удару ракеткою

Японські програмісти навчили нейромережу в реальному часі передбачати місце падіння м'яча в настільному тенісі за положенням тіла гравця, в тому числі ще до того, як ракетка торкнулася м'яча. Експерименти з професійними гравцями і любителями показали, що передбачена точка падіння в 75 відсотках випадків коректно вкладається в діаметр м'яча, розповідають автори статті, представленої на конференції CHI 2020.

Одна з основних навичок, необхідних в іграх з м'ячем, полягає в передбаченні поведінки суперника і траєкторії, за якою він буде посилати м'яч. Інженери вже давно намагаються створити роботів, здатних робити такі передбачення і грати не гірше людей. Наприклад, кілька років тому японська компанія Omron представила великого робота для гри в настільний теніс, здатного швидко відстежувати траєкторію м'яча і гравця. Як і майже у всіх аналогічних розробках, для розрахунку траєкторії м'яча використовуються тільки його попередні положення, причому розрахунки починаються після удару ракеткою. Але оскільки при подачі професійний гравець вже знає, куди він буде посилати м'яч, його суперник-професіонал, як правило, намагається ще під час замаху за положенням тіла, що подає приблизно спрогнозувати напрямок удару і приготуватися.

Ервін У (Erwin Wu) і Хідекі Коїке (Hideki Koike) з Токійського технологічного інституту вирішили використовувати при комп'ютерному прогнозуванні траєкторії м'яча такий же підхід. В основі їх алгоритму лежать дві нейромережі з різними завданнями та архітектурою. Спочатку дані з веб-камери, встановленої зверху з боку приймаючого гравця потрапляють на згорточну нейромережу ResNet50, яка розмічає на кожному кадрі положення основних сегментів тіла гравця, що подає.

Потім десять останніх кадрів з розміченими положеннями тіла подаються на нейромережу з довгою короткостроковою пам'яттю (LSTM), яка відповідає за розрахунок місця падіння м'яча. Разом з ними цієї нейромережі даються дані про положення ігрового столу, завдяки чому відбувається калібрування. Отримана точка падіння при необхідності в реальному часі виводиться на стіл за допомогою проектора.

Автори самі зібрали дані для навчання, відстежуючи політ м'яча за допомогою високошвидкісної камери, але зменшували частоту з 240 до 30 кадрів на секунду, щоб привести у відповідність з веб-камерою, що використовується поза навчанням. Крім того, вони записували звук під час гри, щоб точно визначити момент торкання м'яча об стіл. Для попереднього навчання розробники також застосовували записи тенісних подач з інтернету. Зіставивши точні дані про траєкторію з положеннями тіл гравців під час безлічі подач, вони навчили алгоритм досить точній роботі.

Після навчання алгоритму розробники перевірили його на успішних подачах восьми осіб, з яких четверо були часто граючими гравцями, а ще четверо були аматорами. Результати показали, що передбачення алгоритму коректно укладаються в коло з діаметром чотири сантиметри (розмір м'яча) в 81,25 відсотка випадків при подачі професіонала і в 68,75 відсотка при подачі любителя (в середньому 75 відсотків).

У ще одному дослідженні вони перевірили застосовність системи для навчання, запросивши шість осіб, які майже не грали в настільний теніс. Вони повинні були приймати подачу досвідченого гравця в двох умовах: з проекцією розрахованої точки падіння на стіл або без неї. З'ясувалося, що з проекцією вони успішно відбивали м'яч на бік суперника майже на 11 відсотків частіше.

Минулого року американські розробники навчили нейромережу створювати за роликом з початком руху людини анімовану тривимірну модель, яка досить точно пророкує подальший рух.