Програму навчили шукати гумор на картинках

Дослідницький колектив з Virginia Tech, TTI-Chicago і Microsoft Research створив алгоритм, який класифікує набір картинок на смішні і несмішні. Крім того, програма здатна перерисовувати картинки, щоб з несмішної вийшла смішна або навпаки. Опис дослідження викладено у вигляді препринту на arXiv.org.

Автори зробили добірку з декількох сотень кліпарт картинок людей, тварин і побутових предметів, а потім запропонували добровольцям скласти з цього набору прості колажі. При цьому в половині випадків учасників просили, щоб колаж був смішним. Іншим добровольцям після цього пропонували оцінити всі отримані колажі від 1 (картинка зовсім не смішна) до 5 (картинка дуже смішна).

Оскільки колажі складалися з одного і того ж набору елементів, для них легко було складати текстовий опис. Його використовували для навчання простої нейронної мережі, щоб класифікувати картинки на смішні і несмішні. Виявилося, що в групу смішних картинок найчастіше потрапляли зображення, на яких один або кілька об'єктів були в незвичайному для них контексті. Наприклад, на одному з колажів тварини обідали, сидячи за столом, а чоловік сидів у собачому кошику.

Щоб упевнитися, що саме контекст найчастіше відповідає за гумор, програму також навчали, як зі смішної картинки зробити несмішну, або навпаки. Для цього алгоритм вибирав кілька фрагментів колажу, які найбільше вибивалися із загальної сцени, і міняв їх на більш відповідні елементи. Отримані після заміни колажі показували добровольцям і просили їх визначити, хто складав цей колаж: людина або комп'ютер. У 28 відсотках випадків учасники вважали, що автором була людина, хоча насправді колаж складала програма. Автори зазначають, що найкращим результатом у цьому випадку вважалося б 50 відсотків: це означало б, що колажі небайдужі.

На думку вчених, у їхній роботі вперше робиться спроба автоматичного аналізу смішних зображень. У майбутньому подібні дослідження можуть знайти застосування, наприклад, для контекстної реклами або для програмування автоматичних камер, що роблять знімок, тільки коли в кадрі відбувається щось смішне. Раніше вже проводилося безліч досліджень з аналізу гумору, але в основному в текстових джерелах. В одному з них автори навіть спробували виміряти гумор, для чого запропонували використовувати інформаційну ентропію Шеннона.