Комп'ютерний зір дозволив керувати робокентавром за допомогою жестів

Європейські розробники оснастили робота Centauro системою, що дозволяє оператору керувати роботом без додаткового обладнання. Вона в реальному часі створює модель тіла людини і перетворює її руху в рухи відповідних частин робота. На розробку, яка буде представлена на конференції ICARCV 2018, звернуло увагу видання IEEE Spectrum.

Інженери розробляють не тільки повністю автономних роботів, але і телекерованих, які можуть володіти широкими можливостями, але управління ними покладено повністю на оператора. Основною областю застосування таких роботів їх розробники бачать рятувальні роботи або інші операції в місцях, в яких життя людини схильне до великого ризику, але необхідно застосовувати рідкісні і складні навички. Самі по собі розробки в цій області вже володіють досить вражаючими здібностями, але управляти такими роботами, як правило, дуже складно. Частина телекерованих роботів підпорядковується командам зі звичайних контролерів, а деякі підтримують екзоскелетне управління, при якому система відстежує всі рухи тіла людини і миттєво перетворює їх на рухи робота. Незважаючи на те, що ця система вважається найбільш зручною, вона вимагає спеціальної підготовки, а також досить дорога і складна в реалізації.

Група інженерів з декількох європейських наукових організацій представила в липні 2018 року роботизовану платформу Centauro. Робот має чотири ноги, на кінці кожної з яких встановлено поворотне колесо. Крім того, у нього є корпус і дві руки, а також масив з лідара, камери глибини і декількох звичайних камер. Спочатку розробники заявляли про розробку екзоскелетного крісла для управління роботом, але тепер вони показали систему управління, що копіює рухи частин тіла людини без застосування контролерів.

Для розпізнавання рухів у системі використовується камера глибини ASUS Xtion PRO, дані з якої передаються алгоритму OpenPose, що часто застосовується для подібних завдань. Наприклад, нещодавно з його допомогою створили систему, що переносить рухи однієї людини на відео з іншою людиною. Алгоритм обробляє кадри відео в реальному часі і створює на їх основі почесну модель тіла, що складається з безлічі з'єднаних між собою ключових точок. Після цього система переносить дані на тривимірну моделі і віддає ці дані планувальнику рухів робота.

Завдяки цьому людина може без спеціальної підготовки керувати роботом, рухаючи своїми руками і корпусом. Розробники показали кілька прикладів рухів, наприклад, людина змогла підняти коробку і повернути важіль. Варто зазначити, що алгоритм OpenPose дозволяє відстежувати рухи пальців, а робот Centauro має на кінцях рук інтерфейси для заміни маніпуляторів, тому потенційно систему можна використовувати і для виконання більш складних завдань за допомогою роборук.

Крім традиційної схеми із застосуванням екзоскелета, яку, наприклад, вибрали розробники з Toyota, Sarcos Robotics і Meltin, існують й інші незвичайні підходи до управління роботами. Одну з таких систем торік продемонстрували інженери з MIT. Вони створили віртуальний кокпіт, що відображається у VR-шоломі, і дозволяє керувати роботом за допомогою віртуальних контролерів і бачити зображення з декількох камер у різних областях кокпіта.