Відображення в очах видало в фотографіях людей дипфейки

Американські дослідники запропонували новий метод, що дозволяє відрізнити дипфейкове зображення від сьогодення. Він заснований на порівнянні відображень в очах людини: на реальних фотографіях відображення майже ідентичні, а в створених нейромережею вони сильно різняться між очима. Стаття опублікована на arXiv.org.

В останні кілька років технології підміни осіб на фотографіях і створення фотографій неіснуючих людей різко просунулися вперед, і тепер виявити такі підробки стало дуже складно як людям, так і алгоритмам. Якість роботи алгоритмів для створення дипфейків зросла настільки сильно, що державам доводиться приймати закони, що забороняють їх застосування, а компаніям - проводити конкурси зі створення захисту від таких алгоритмів. Багато в чому швидкий розвиток технологій в цій галузі пов'язаний з тим, що він перетворився на класичне «протистояння щита і меча»: одні дослідники розробляють методи виявлення дипфейків, а інші враховують їх напрацювання і створюють нові алгоритми, несприйнятливі до цих методів. Все це призвело до того, що зараз роботу лідируючих дипфейк-алгоритмів можна виявити лише за невеликими артефактами на зображеннях.

Дослідники з Університету Баффало під керівництвом Сивея Люя (Siwei Lyu) знайшли новий недолік, за яким можна відрізнити дипфейк від звичайної фотографії - відображення в очах. Оскільки очі людини розташовані набагато ближче один до одного, ніж джерело світла, на реальній фотографії відображення в обох очах майже однакові за винятком рідкісних випадків, наприклад, якщо світло від одного з джерел світла потрапляє тільки на одне око. Однак в алгоритмах для підміни або створення осіб немає фізичних обмежень, що описують поведінку відбитків, тому на створюваних ними зображеннях відображення в очах різняться набагато сильніше.

Автори роботи створили алгоритм, який автоматично визначає дипфейки за відображеннями, який працює наступним чином: Спочатку він виявляє на зображенні обличчя, розмічає на ньому ключові точки і на їх підставі вирізає область, обмежену райдужною оболонкою. Потім алгоритм бінаризує це зображення, перетворюючи пікселі з яскравістю вище порогової на чорні, а решта - на білі. У результаті утворюється два зображення (по одному на око) з формою відбитків, між якими розраховується схожість за коефіцієнтом Жаккара.

Дослідники оцінили роботу алгоритму на двох вибірках: реальних особах з датасета Flickr-Faces-HQ і згенерованих нейромережею StyleGAN2 з сайту This Person Does Not Exist. На графіку коефіцієнта Жаккара явно видно, що розподілу реальних і фейкових фотографій значно відрізняються. Також вони побудували для цих розподілів ROC-криву і показали, що точність класифікації (віднесення фотографії до одного з двох типів) становить 94 відсотки.

Незважаючи на високий результат, автори відзначили, що він був досягнутий на фотографіях з портретним розташуванням обличчя і яскравим освітленням. Якщо застосувати метод до інших фотографій, особливо до тих, в яких на очах немає явних відображень, його ефективність буде нижчою. Крім того, їх алгоритм порівнює різницю між відображеннями попіксельно, не враховуючи форму всього відображення, що давало б більш якісний результат.

Дипфейки зазвичай пов'язують з негативними застосуваннями, наприклад, створенням ботів у соцмережах або недостовірних відеозаписів від імені знаменитостей, але їх можна використовувати і на благо. Наприклад, норвезькі розробники запропонували замінювати обличчя людей на дипфейки, щоб створювати анонімізовані зображення, що зберігають при цьому близьке до оригінального розподілу даних.