Інженери Intel створили відкритий проект робота на базі смартфона

Інженери з компанії Intel розробили колісного робота з прикріплюваним смартфоном, який виступає в якості камери і обчислювального блоку. Потужності сучасних смартфонів з високопродуктивними процесорами достатньо, щоб робот автономно їздив по приміщеннях, огинаючи перешкоди, або слідував за людиною, розпізнаваючи її за даними з камери. Розробники опублікували на arXiv.org статтю з описом робота, а також обіцяють викласти на GitHub вихідний код алгоритмів, моделі для 3D-друку частин корпусу і документацію.

На сьогоднішній день у інженерів-аматорів є досить багато можливостей для самостійного складання роботів: безліч моторів, мікроконтролерних плат типу Arduino і одноплатних комп'ютерів типу Raspberry Pi. Однак для серйозних завдань з комп'ютерним зором необхідні вже набагато дорожчі компоненти, що різко підвищує поріг входу для любителів. При цьому у більшості людей в розвинених країнах є смартфони, багато з яких за потужністю знаходяться на одному рівні з ноутбуками, а також часто містять співпроцесор для апаратного прискорення нейросетевих алгоритмів, що становлять основу комп'ютерного зору.

Маттіас Мюллер (Matthias Müller) і Владлен Колтун (Vladlen Koltun) з Intel Labs створили відкритий проект колісного робота, в якому за зйомку і обчислення відповідає смартфон, а за пересування - доступні компоненти загальною вартістю близько 50 доларів. Корпус інженери розробили самі і роздрукували на 3D-принтері. Чотири колеса приводяться в рух індивідуальними моторами, які підключені до платі-драйверу. Вона з'єднана з Arduino Nano, яка зв'язується зі смартфоном по USB і збирає дані з датчиків. При необхідності до смартфона через Bluetooth можна підключити контролер для ручного управління.

На смартфоні працює один з двох алгоритмів руху: один відповідає за проїзд коридорами минаючи перешкоди, а другий просто слідує за людиною перед камерою. Алгоритм прямування за людиною заснований на вже готовій нейромережі з виявлення людей в кадрі, що працює на смартфоні за допомогою Tensorflow Lite в реальному часі. Отримуючи від нейромережі становище людини в кадрі, алгоритм підлаштовує траєкторію робота. Другий алгоритм автори розробили і навчили самостійно на масиві записів, на яких робот їздить по офісних коридорах під управлінням оператора.

На момент публікації замітки інженери вже опублікували на GitHub моделі для 3D-друку корпусу, а також повідомили, що незабаром опублікують і весь потрібний вихідний код, який поки знаходиться на розгляді.

У 2018 році Huawei разом з Porsche продемонстрували потужність сучасних смартфонів і їх співпроцесорів для апаратного прискорення нейромережевих обчислень, зібравши прототип безпілотного автомобіля під керуванням смартфона. Він може розпізнавати перешкоди, об'їжджати їх і слідувати командам людини.