Нейромережа відсортувала людей з камер відеоспостереження по зросту і підлозі

Індійські розробники створили нейромережу, яка шукає на відеозаписах людей певного зросту, статі і в одязі певного кольору. Це може дозволити значно звужувати обсяг даних під час пошуку людей на відеозаписах, розповідають автори доповіді, яка буде представлена на конференції AVSS 2018.

Алгоритми розпізнавання людей на відеороликах і фотографіях вже досить сильно розвинені і реально застосовуються для пошуку злочинців або ідентифікації пасажирів. Як правило, ці алгоритми ідентифікують людину тільки по її обличчю, а більш досконалі реалізації також використовують додаткові фактори, такі як зростання, або навіть більш незвичайні, наприклад, поведінкові характеристики. Деякі програми вже вміють виділяти на кадрах лише людину з певним набором параметрів, але вони часто стикаються з проблемами при відділенні людини від фону, а також з некоректним визначенням зростання через змінену перспективу та інші перешкоди.

Група розробників під керівництвом Мехула Равала (Mehul Raval) з Ахмадабадського університету в Індії створила нейромережу, здатну розпізнавати людей на відео і якісно фільтрувати їх на основі декількох ознак. Алгоритм працює в кілька етапів. Спочатку кадри віддаються згорточній нейромережі Mask R-CNN, яка проводить семантичну сегментацію кадрів і виділяє на них тільки області, в яких знаходяться люди.

Після цього алгоритм починає працювати тільки з цими областями. Спочатку він обчислює зростання людини з урахуванням перспективи на різних кадрах і обчислює середнє значення. Після цього він розбиває тіло решти людей на три частини і визначає колір одягу на тулуб, причому він визначає два кольори - основний і додатковий, який використовується при наявності двох або більше людей зі схожим основним кольором. Якщо не вистачило цих параметрів, алгоритм також може відфільтрувати решту людей по підлозі.

Для навчання розробники використовували датасети COCO і SoftBceSearch. Зображення були на випадковий кут від − 5 до 5 градусів для того, щоб поліпшити роботу навченої моделі. Крім того, автори роботи модифікували освітлення на кадрах для більш якісного визначення кольору алгоритмом. Для пошуку конкретної людини розробники надавали нейромережі розмічені кадри з ним. Алгоритм коректно розпізнав 28 з 41 людини, для 19 з них частка кадрів з коректним розпізнаванням була більше 60 відсотків.

Нещодавно інша група розробників з Індії та Великобританії створила систему на основі дрона, яка може виявляти насильницькі дії серед людей, наприклад, бійки. Вона також працює на основі алгоритму машинного навчання, який навчили визначати характерні для насильства пози.