У алгоритмів комп'ютерного зору виявили проблеми з темною шкірою

Американські розробники перевірили роботу восьми алгоритмів комп'ютерного зору, що використовуються для визначення об'єктів на зображеннях, і з'ясували, що вони гірше розпізнають людей з темною шкірою: в середньому на п'ять відсотків. Препринт статті опубліковано на arXiv.org.

Те, що нейромережі та інші алгоритми машинного навчання відрізняються упередженістю, демонструють досить часто. Причому це вина не розробників, а тих датасетів, які вони використовують для навчання і тестування своїх моделей: вони не відрізняються різноманітністю і, наприклад, в них часто більше світлошкірих людей, ніж темношкірих.

Така проблема помітна при використанні алгоритму на практиці: наприклад, варто згадати історію з алгоритмами Google, які розпізнали двох темношкірих людей як горил. При цьому один випадок, нехай і може викликати скандал, не означає, що алгоритм завжди помиляється: незважаючи на високу точність роботи багатьох нейромереж, вони в принципі не можуть бути бездоганні - завжди залишається шанс на похибку. Упередженість алгоритмів, тому, необхідно оцінювати емпірично, щоб точно виключити вплив всіх можливих побічних змінних.

Цим вирішили зайнятися дослідники з Технологічного інституту Джорджії під керівництвом Бенджаміна Вілсона (Benjamin Wilson). Вони відібрали зображення пішоходів, які використовуються для навчання алгоритмів комп'ютерного зору, що працюють, наприклад, у безпілотних автомобілях. Добровольців попросили розмітити людей на зображеннях і присвоїти їм номер від 1 до 6 за шкалою фототипів шкіри Фітцпатріка.

Вчені з'ясували, що всі вісім алгоритмів гірше справляються з визначенням на зображеннях пішоходів з більш темною шкірою (від 4 до 6 за шкалою Фітцпатріка) - в середньому на п'ять відсотків. При цьому на різницю в точності не вплинув темний час доби або об'єкти, частково затуляють пішохода.

Розробники вважають, що причина поганого розпізнавання людей з більш темною шкірою може бути не тільки в тому, що їх недостатньо у вибірці, але також і в тому, що сам алгоритм може бути не налаштований на те, що якихось даних у навчальній вибірці може бути недостатньо. В цілому, проведена робота показує важливість попереднього тестування нейромереж та налаштування їх параметрів залежно від вибірки. Як зазначає в заголовку своєї замітки MIT Technology Review, така упередженість може бути небезпечною в питаннях використання алгоритмів комп'ютерного зору в безпілотних автомобілях: якщо система виявляє темношкіру людину з меншою ймовірністю, то вона з більшою ймовірністю її зіб'є.

Один із способів боротися з упередженістю подібних алгоритмів нещодавно запропонували дослідники з Массачусетського технологічного інституту: вони додали до згорточної нейромережі-автокодувальник, яка відзначає труднощі розпізнавання окремих особливостей у процесі роботи і на основі цього регулює навчальну вибірку.