Автомобілі і велосипеди навчили дрони літати в місті

Інженери розробили нейросетевий алгоритм для дронів, що дозволяє їм літати в складній обстановці, наприклад, місті, спираючись тільки на зображення з камери. Розробники навчили дрон не вилітати за межі дороги і уникати зіткнень з перешкодами, спираючись на масив записів поїздок на автомобілях і велосипедах, повідомляється в прес-релізі Цюріхського університету. Вихідний код алгоритму, датасет і натренована модель доступні на сайті університету.

Практично всі дрони використовують для навігації сигнали GPS або ГЛОНАСС. Цього достатньо для автоматичних польотів на відносно великій висоті, але при польотах у місті сигналів від супутників недостатньо. У таких умовах дрону потрібно не тільки знати своє зразкове розташування, але й уникати зіткнень зі статичними і рухаються об'єктами, наприклад, пішоходами або автомобілями. Крім цього, сигнал супутникових систем може бути недоступний у приміщеннях.

Дослідники під керівництвом Давіде Скарамузза (Davide Scaramuzza) з Цюріхського університету розробили нейросетевий алгоритм DroNet для автономної навігації дронів, що використовує тільки зображення з камери. Розробники взяли за основу восьмислійну залишкову мережу ResNet-8 і модифікували її. Отримана мережа складається з восьми шарів і приймає на вході чорно-біле (з градаціями сірого) зображення з роздільною здатністю 200 на 200 пікселів. На виході нейромережа видає два параметри: кут повороту відносно поточної траєкторії і ймовірність зіткнення. Виходячи з ймовірності зіткнення розраховується швидкість руху.

Для навчання нейромережі навичкам пересування по міських дорогах інженери використовували загальнодоступний датасет Udacity, що містить понад 70 тисяч зображень з поїздок автомобілів. Крім цього дослідники створили датасет для розрахунку ймовірності зіткнення з об'єктом (автомобілем, пішоходом або іншим) від відстані до нього. Для цього вони їздили містом на велосипеді з закріпленою на кермі камерою. Після цього дослідники розмітили датасет, привласнивши кадрам, знятим далеко від об'єкта, низьку ймовірність зіткнення (0), а тим, які були зняті впритул до об'єкта - високу ймовірність (1).

Після тренування інженери протестували алгоритм на комерційно доступному квадрокоптері, підключеному до комп'ютера через Wi-Fi. Нейромережа на комп'ютері отримувала зображення з камери, аналізувала його і повертала на дрон команди управління. Дослідники показали, що дрон зміг без зіткнень переміщатися по дорогах, повертати на них і уникати зіткнень з перешкодами.

Цікаво, що зображення з датасетів були зняті на висоті близько півтора метра, але дрон зміг практично з такою ж ефективністю пересуватися і уникати зіткнень і при польоті на висоті п'яти метрів. Крім цього розробники протестували роботу в умовах, зовсім несхожих на дані з тренувального набору даних. З'ясувалося, що дрон може самостійно пересуватися в коридорах або великих приміщеннях і також уникати зіткнень з людьми в них.

Дослідники відзначають, що розроблений ними алгоритм уникнення зіткнень краще застосовувати в парі з просунутим планувальником маршруту. Розробники надали всі дані досліджень іншим дослідникам, які можуть скористатися напрацюваннями у своїх проектах. Вихідний код DroNet і натренована модель опубліковані на GitHub, а створений інженерами датасет і використані під час випробувань ваги для алгоритму доступні на сайті університету.

Торік канадська компанія Drone Delivery Canada оголосила про розробку схожої системи візуальної навігації для дронів. Технічних подробиць розробки не розкривали, але відомо, що вона призначається для навігації без GPS під час далеких польотів.