Скануючий затвор і лазер змусили безпілотний автомобіль переплутати колір світлофора

Китайські та американські дослідники навчилися обманювати безпілотні автомобілі за допомогою лазера. Вони показали, що при використанні камери зі скануючим затвором світло від лазера змушує алгоритми визначення сигналу світлофора приймати неправильне рішення, визначаючи зелений сигнал замість червоного і навпаки. Стаття буде представлена на конференції USENIX 2022, її препринт опублікований на arXiv.org.

У безпілотних автомобілях, як правило, використовуються різні типи датчиків, що частково дублюють один одного. Так, іншу машину на дорозі можуть помітити лідар, радар і камера. Але для деяких завдань такого резервування немає. Наприклад, дорожні знаки і світлофори можна розпізнати тільки за допомогою камер. При цьому камери та алгоритми комп'ютерного зору - найбільш чутливі до помилок і обманів системи. Перш за все це стосується сприйняття обсягу, оскільки камери знімають почесні кадри. Також дослідники вже не раз показували, як системи комп'ютерного зору безпілотних або високоавтоматизованих автомобілів, таких як Tesla, порівняно легко обдурити візуальними мітками або помилковою розміткою на дорозі.

Сяоюй Цзі (Xiaoyu Ji) з Чжецзянського університету разом з колегами показав, як реально застосовувані в безпілотних і високоавтоматизованих автомобілях камери і алгоритми можна обдурити лазером, змусивши їх прийняти один сигнал світлофора за інший. Метод застосовний до КМОП-матриців, тому що в них, як правило, використовується скануючий затвор - схема, при якій дані з пікселів збираються не одночасно, а послідовно. Це призводить до того, що якщо об'єкт перед камерою швидко рухається, його зображення стає зміщеним: по мірі руху вниз по кадру він все більше зміщується в бік:

Дослідники запропонували використовувати цю особливість матриць для того, щоб створювати на кадрах з камери автомобіля яскраву смугу певного кольору: червоного або зеленого. Якщо світити камеру постійним лазерним випромінюванням, такого ефекту не вийде і світло від лазера буде заповнювати більшу частину зображення, що може не дати спрацювати алгоритму виявлення світлофора. Але якщо світити лазерними імпульсами, частота яких синхронізована з частотою зйомки камери, вона встигатиме відобразити лише горизонтальну смугу, ширина якої залежатиме від тривалості імпульсів.

Експерименти з п'ятьма камерами, в тому числі застосовуваною в Tesla моделлю, а також двома алгоритмами виявлення і визначення сигналу світлофора (Apollo Auto і Nexar), показало, що якщо смуга має не дуже велику ширину і яскравість, і при цьому накладається на світлофор, програмне забезпечення з високою ймовірністю плутає справжній колір з кольором лазера: для камери Tesla (onsemi AR0132AT) вона виявилася рівною 30 відсотків для «перетворення» червоного сигналу на зелений і 86,25 відсотка для «перетворення» зеленого на червоний.

При цьому автори зазначають, що якщо підібрати частоту може бути легко, наприклад, використовувати стандартні 30 або 60 герц, то синхронізувати положення цієї смуги, щоб вона накладалася на світлофор, неможливо - вона буде накладатися у випадкове місце по вертикалі. Як метод захисту від їхньої атаки, автори запропонували змінити алгоритм роботи матриць, зчитуючи ряди пікселів у випадковому порядку або залишати його послідовним, але починати сканування з випадкового ряду для кожного нового кадру.

В останні роки активно розробляються V2X-світлофори, які повідомляють автомобілям поблизу свій поточний статус та інші дані. У 2018 році ми розповідали про тестування в США перехрестя, яке може попередити автомобілі про пішоходів та інші машини за не проглядним кутом.