Нейромережа змусила «розвидіти» літаки

Нідерландська організація прикладних наукових досліджень (TNO) виявила спосіб ввести нейромережу в оману шляхом заміни традиційного камуфляжу для літаків на спеціальні зображення, які для людини виглядають набором фігур різних кольорів, але для комп'ютерного алгоритму являють собою певний об'єкт.

Не секрет, що нейромережі для розпізнавання і класифікації об'єктів можна певним чином обманювати, причому непомітним для неозброєного ока способом. Якщо ви внесете до зображення з певним об'єктом деякі правки, ви можете змусити алгоритм побачити на ньому вже зовсім інший об'єкт. Оскільки нейромережеві алгоритми сьогодні застосовуються в безпілотних автомобілях, системах розпізнавання осіб і військовій техніці, дослідники небезпідставно вважають подібні змагальні приклади серйозною загрозою безпеці.

Змагальні зображення можна умовно розділити на два основних класи: картинки з попіксельною заміною, що годяться для атак в цифровому вигляді, і так звані стікери - невеликі самостійні зображення, в яких людина не може розпізнати ніякий конкретний об'єкт. Стікери можуть застосовуватися і в офлайні - наприклад, для обману систем розпізнавання осіб, а нідерландські вчені вирішили випробувати їх як камуфляж для літаків та іншої військової техніки, що стоїть на аеродромах або будь-яких інших відкритих просторах.

Для цього дослідники застосували алгоритм виявлення об'єктів YOLOv2 і класичний метод підбору змагального зображення. Спочатку нейромережа бере супутниковий знімок літаків, що стоять на аеродромі, і накладає це зображення на кожен літак. Шляхом обробки у фоторедакторі алгоритм отримував у результаті знімок з накладеним на літаки досить реалістичним зображенням, яке за своїм виглядом було максимально схоже на реальний об'єкт, а не вставлений програмним чином.

Потім зображення оптимізувалося за допомогою функції втрат, яка враховує три фактори: чи можна реально надрукувати певний колір або поєднання, наскільки впевнено нейромережа розпізнає об'єкти будь-яких класів на фотографії і варіативність змагального зображення. Потім цикл повторювався, але вже з оптимізованим зображенням. У результаті за безліч циклів з'являється зображення, яке збиває з пантелику алгоритм розпізнавання об'єктів і при цьому стійке до різних перешкод, які можуть з'явитися при зйомці з безпілотника або супутника.

З відеокартою Nvidia GTX 1080Ti на створення кожного зображення йшло близько 30 годин безперервних обчислень. Експерименти на супутникових знімках показали, що великі зображення (20% від ширини обмежувальної рамки, малюваної алгоритмом виявлення об'єктів) знижують середню точність алгоритму виявлення з 94% до 5,6%, а маленькі зображення (10%) - до 37,8%. Також виявилося, що зображення можна накладати і на сусідню частину злітно-посадкової смуги, а не на сам літак - правда, ефективність обману в такому випадку була помітно нижче.

Для повноцінної перевірки алгоритму необхідно провести експеримент в реальних умовах - накривши літак тентом з надрукованим зображенням. Випадкові зміни, які вносилися в зображення, цілком достатні для імітації реальних умов, вважають вчені. Поки вони перевірили лише один алгоритм, хоча в реальності різні системи виявлення військової техніки можуть використовувати різні алгоритми. Втім, можливо створити зображення, яке заплутає різні алгоритми розпізнавання.