Робота навчили годувати людей з вилки

Американські інженери створили інвалідне крісло з роботом, здатним розпізнавати їжу на тарілці, захоплювати її потрібним чином і підносити до рота людину. Автори розробки вважають, що в майбутньому система може стати в нагоді людям з порушеннями рухливості верхніх кінцівок. Розробка була представлена на конференції NeurIPS 2018, а її опис доступний на сайті Вашингтонського університету.

Досить велика кількість інженерів, що працюють в області робототехніки, розробляють пристрої, призначені для людей з обмеженими можливостями. Багато з них створюють екзоскелети, що компенсують втрату кінцівок, а частина працює над створенням роботів, які допомагають людям у побутових ситуаціях. Наприклад, минулого року Toyota випробувала робота, який вміє по команді приносити і простягати пляшку з водою, а також натискати кнопку, що відкриває вхідні двері в будинок.

Сіддхартха Срініваса (Siddhartha Srinivasa) і його колеги з Вашингтонського університету створили робота, здатного виконувати більш складне завдання - годувати людину фруктами і овочами. Доповідь, подана на конференції NeurIPS, поки не опублікована у відкритому доступі, проте деякі висновки про пристрій системи можна зробити за відеороликом і попередньою статтею авторів. Інженери використовували двосекційний робоманіпулятор Kinova JACO із закріпленими на його кінці захопленням і камерою глибини. Він встановлений на правій частині інвалідного крісла, а на задній частині розташовується блок управління з акумулятором, обчислювальними модулями і датчиками. Під час роботи роборука спочатку захоплює вилку, яка зазвичай закріплена на лівій частині крісла, потім наколює на неї фрукти або овочі, і підносить їх до рота людини.

Найскладнішими в розробці були два етапи роботи маніпулятора - надійне захоплення їжі і зручне розташування вилки перед людиною. Перед захопленням робоманіпулятор направляє камеру на тарілку і розпізнає об'єкти на ній завдяки алгоритму, навченому розпізнаванню і класифікації овочів і фруктів. Після цього він вибирає потрібну їжу і підносить вилку. Розробники оснастили маніпулятор двома датчиками зміщення, які стискають вилку. Завдяки цьому робот може з досить високою точністю визначати силу, з якою він вставляє вилку в їжу. Крім того, для надійного розжарювання їжі розробники навчили маніпулятор по-різному поводитися з різними типами їжі. Наприклад, оскільки шматок банана може легко зісковзнути з виделки, робот наколює його під кутом, а не вертикально.

Після того, як робот захопив шматочок їжі, він починає другий етап і підносить їжу до рота людини. Для цього використовується алгоритм розпізнавання обличчя, який розмічає на ньому ключові точки, в тому числі і елементи рота. Завдяки тому, що робот відстежує становище особи, він може підлаштовувати своє становище під рухи людини. Також алгоритм управління був навчений підносити їжу максимально зручним чином, за допомогою тестів на реальних людях. Наприклад, довготривалі овочі він підносить кінцем до рота і під кутом, а не вертикально. Інженери опублікували ролик, на якому можна бачити, як працювали різні версії алгоритму і з якими проблемами довелося зіткнутися при розробці:

У 2016 році американська компанія Desin представила серійного робота, який теж вміє годувати людей за допомогою маніпулятора. Відмінність нового робота від серійної розробки полягає в тому, що вона нездатна відстежувати становище людини, а також не вміє наколювати їжу, лише зачерпує її в ложку.