Увагу людей і машин привернули різні деталі зображення

Вчені порівняли, на що звертають увагу роботи і люди, коли вивчають фотографію, і виявилося, що вони фокусуються на різних деталях зображення. З роботою можна ознайомитися на сервері препринтів.

Дослідники попросили добровольців, найнятих через сервіс Amazon Mechanical Turk відповісти на питання, що стосуються набору фотографій, - наприклад, «Що робить чоловік?» або «Якого кольору ока у кішки?». Кожен знімок був розмитий і учасники дослідження повинні були клікати мишкою на ту область, яку вони хотіли зробити різкою. Карта цих кліків показувала, на які частини зображення люди звертають увагу в першу чергу, щоб відповісти на питання.

Потім автори роботи дали таке ж завдання двом нейромережам - нейромережі Stacked Attention Networks, яка побудована на базі світрочної і рекуррентної нейромережі і може відповідати на питання, і HceCoAtt-P, яка може також розуміти питання в мовній формі. Нейромережі, як і люди, вибирали, які частини зображення зробити більш чіткими, а вчені складали з цих даних «карту уваги».

Дослідники виявили, що людина і штучний інтелект по-різному вивчають фотографії. За шкалою від 1 (що означало, що знімок був зроблений повністю різким) до _ 1 (ніякого збільшення різкості) люди отримали середній бал 0,63, в той час як нейромережі «заробили» всього близько 0,26 балів. При цьому, вони досить добре впоралися із завданням (точність розпізнавання 62,1 відсоток). Крім того, нейромережі дивилися не на ті ж області фотографій, що і люди, що, за словами вчених, ускладнює пояснення того, як саме штучний інтелект вирішує, що показано на знімку. На думку дослідників, ця робота допоможе вченим, які працюють з нейромережами, поліпшити їх роботу і зробити їх в деяких сенсах більш «людиноподібними».