Попіксельна заміна змусила нейромережу знайти в лижниках собаку

Програмісти з Массачусетського технологічного університету представили новий спосіб обману систем класифікації зображень, заснованих на роботі нейромереж. Алгоритм, детально описаний у препринті, опублікованому на arXiv.org, справляється навіть з системами розпізнавання з закритим вихідним кодом.

Основною загрозою для алгоритмів комп'ютерного зору, що виконують завдання розпізнавання і класифікації зображень, є змагальні приклади (англ. adversarial examples) - трохи змінені вихідні дані, які виглядають так само для людини, але можуть неправильно інтерпретуватися комп'ютером. Зазвичай такі дані (в даному випадку - зображення) генеруються за допомогою відомої інформації про алгоритм класифікації, представленої в так званому «білому ящику». Якщо ж алгоритм класифікації закритий (тобто в «чорній скриньці»), завдання ускладнюється: створення «змагальних прикладів» ґрунтується тільки на вхідних (самому зображенні) і вихідних (результаті класифікації) даних. За такою системою працюють, наприклад, Google Cloud Vision API і алгоритми розпізнавання і класифікації зображень Facebook.

Незважаючи на складність поставленого завдання, дослідникам з MIT під керівництвом Джессі Лінь (Jessy Lin) вдалося створити алгоритм, що генерує змагальні приклади для обходу закритих систем класифікації. Система заснована на алгоритмі оптимізації і працює досить просто: попіксельно змінює вихідне зображення, при цьому залишаючи його класифікацію. Наприклад, зображення автоматичної гвинтівки можна перетворити на зображення вертольота - при цьому класифікатор так само буде розпізнавати його як зброю.

Дослідникам вдалося згенерувати змагальні приклади і обдурити з їх допомогою класифікатори, натреновані на зображеннях з двох баз даних: CIFAR-10 и ImageNet. У першому випадку створений алгоритм показав ефективність 99,6 відсотка, а в другому - 99,2 відсотка. Потім дослідники перевірили ефективність алгоритму в обмані системи розпізнавання Google Cloud Vision API: змагальний приклад, створений на основі зображення лижників, система Google класифікувала як собаку з точністю в 91 відсоток.

Авторам, таким чином, вдалося показати чергову вразливість найбільш досконалих і широко застосовуваних на сьогоднішній день алгоритмів комп'ютерного зору. Отримані результати, тим не менш, можна застосувати і для поліпшення класифікаторів

Розробники тестують алгоритми розпізнавання «на міцність» абсолютно різними способами: наприклад, за допомогою створення тривимірних моделей або окулярів з колірним візерунком.