Розумний килим розрахував модель тіла людини по плямі контакту

Американські інженери створили сенсорний килим, що розпізнає положення і тип дій людини. Вони зібрали безліч відеозаписів людей, які виконують різні дії на килимі, і навчили його відновлювати 3D-модель за відбитком ніг та інших частин тіла. Стаття про розробку була представлена на конференції CVPR 2021.

Алгоритми розпізнавання становища людини можна використовувати в різних цілях - розважальних і серйозних, наприклад, для автоматичного розпізнавання насильницьких дій. Традиційно для цього використовуються камери та алгоритми, що складають за кадрами з них спрощену модель тіла з декількох десятків ключових точок. Ці алгоритми вільно доступні і вже навіть працюють в реальному часі на смартфонах. Але вони мають недоліки, через які їх застосування обмежене, а якість не завжди підтримується на високому рівні. Основні проблеми цього підходу полягають у тому, що він не працює або працює погано, коли між камерою і людиною є перешкода, а також, коли мова йде про комерційні сервіси, у частини користувачів виникають побоювання за конфіденційність, тому що часто кадри передаються на сервер для розпізнавання або перевірки якості роботи сервісу.

Група інженерів з Массачусетського технологічного інституту на чолі з Войцехом Матусиком (Wojciech Matusik) створила сенсорний килим або 1916, здатний розраховувати модель тіла людини, що стоїть на ньому, не використовуючи камери. Килим має розміри 1,8 ст.11,8 метра і складається з п'єзорезистивної плівки, що змінює електричний опір при додатку зовнішньої сили, і мережі поздовжніх і поперечних електродів. Разом вони утворюють масив з 9216 датчиків, розташованих приблизно в сантиметрі один від одного. Чутливість датчиків становить 0,3 кілопаскаля, а максимальний вимірюваний тиск - 14 кілопаскалів. Автори відзначають, що килим просто збирати, а його собівартість склала приблизно 100 доларів.

Інженери використовували для обчислення 3D-моделі тіла за картою тиску нейромережу. Хоча сам килим працює без камер, зовсім без них автори не обійшлися: вони навчали пристрій на парах «карта розподілу тиску - 3D-модель», і для отримання відповідних моделей їм довелося зібрати датасет за допомогою двох камер і алгоритму створення моделей тіла OpenPose. Під час створення датасета 10 добровольців виконували на килимі 15 різних дій, наприклад, сиділи і віджималися, підключений до килима комп'ютер записував показання датчиків тиску, а алгоритм за даними з камер створював 3D-модель тіла з 21 точки. В результаті вони отримали 1,8 мільйона таких пар, що дозволило навчити згорточну нейромережу створювати 3D-модель, маючи тільки карту тиску.

Після навчання розробники перевірили якість роботи алгоритму. Для цього вони попросили добровольців виконати 10 різних дій, а алгоритм повинен був розпізнати відповідну дію. У цьому експерименті точність класифікації склала 97,8 відсотка. Також вони розрахували середню помилку локалізації точок моделі:

Це не перша робота цієї групи інженерів, в якій вони використовують масив датчиків для визначення параметрів контактуючих з ними об'єктів. У 2019 році вони створили рукавичку, яка може розпізнавати предмети в руці і розраховувати їх масу.