Алгоритм навчили точно визначати підміну осіб

Американські вчені представили новий спосіб автоматичного визначення підміни осіб на відео. Їх алгоритм, навчений на прикладах реальних відео з промовою людей, визначає підробку по рухах голови та міміці обличчя. Система, яка була представлена на конференції CVPR 2019, поки що працює тільки на прикладі п'яти американських політиків, а його точність становить 92 відсотки.

Алгоритми, які можуть ефективно переносити інформацію між зображеннями або відео, існують досить давно. В останні кілька років вони також дуже активно розвиваються, через що зростає ризик того, що подібні технології будуть використані на шкоду людям. Зрозуміло, паралельно з алгоритмами, які все краще і краще накладають маски людських облич на відео і статичні зображення, розробляються і алгоритми, які можуть успішно розпізнати подібну підміну (при цьому їх результати, зрозуміло, надалі використовуються для того, щоб поліпшити роботу оригінальних алгоритмів).

При цьому всі вже відомі способи визначення підміни осіб на відео спираються на пошук зовнішніх дефектів, які можуть з'явитися при накладенні маски обличчя (наприклад, нерівні краї). При порівняно низькій якості відео такі дефекти, однак, можуть залишитися непомітними, через що сильно знижується ефективність розпізнавання.

Саме тому для розпізнавання подібних підмін на фотографіях і відео ефективніше було б використовувати інші видимі ознаки, перенести які не так просто. При створенні свого алгоритму дослідники під керівництвом Шруті Агарваль (Shruti Agarwal) з Каліфорнійського університету в Берклі вирішили зосередитися на розпізнаванні рухів голови та окремих мімічних ознак. Для спрощення завдання дослідники зосередилися на визначенні підміни осіб певних людей, а саме - п'яти американських політичних діячів: Хіларі Клінтон, Берні Сандерса, Барака Обами, Дональда Трампа і Елізабет Уоррен.

Для алгоритму розробники створили датасет зі схематичних мімічних змін осіб та повороту голови політиків при розмові на відео: для цього автори використовували відкритий інструмент OpenFace2. За допомогою методу опорних векторів дослідники навчили класифікатор, який визначає підробку на відео. Як основний матеріал для тестування алгоритму розробники створили десятисекундні відео, на яких обличчя політиків були накладені на відеоряди зі сторонніми людьми за допомогою генеративно-змагальних нейромереж.

В результаті розробникам вдалося визначати підміну осіб на відео з точністю до 92 відсотків. Дослідники відзначають, що їх алгоритм поки що не ідеальний, і добре справляється тільки з відеофрагментами, на яких говорящий дивиться прямо в камеру, і не зможе розпізнати підміну осіб на відео, де людина зображена, наприклад, в профіль. Для вирішення цієї проблеми необхідно зробити алгоритм контекстно-незалежним (тобто працюючим для будь-якого положення голови) за допомогою розширення датасету для навчання. Це ж допоможе вирішити й іншу проблему - те, що на даний момент таке визначення підміни працює тільки для п'яти осіб.

Нещодавно автоматично розпізнавати досить поширену підробку - відфотошоплені особи - навчилися в компанії Adobe: зробити це вдалося за допомогою однієї з функцій програми Photoshop. А більше про способи, за допомогою яких нові технології можуть бути використані на шкоду людині, ви можете прочитати в нашому матеріалі «Пластмасовий світ переміг».