Facebook навчив людей розуміти сотні слів щодо вібрації на руці

Інженери з Facebook розповіли про розроблюваний компанією інтерфейс, що дозволяє користувачам розпізнавати слова і фрази з вібрації спеціального пристрою на руці. За допомогою такого пристрою деякі випробовувані навчилися розпізнавати близько 500 слів лише після трьох з половиною годин навчання, повідомляє MIT Technology Review. Розробка буде представлена на конференції CHI 2018.

Сліпі люди читають тексти, надруковані рельєфним шрифтом Брайля, або активні пристрої, які можуть змінювати показані символи. Але у такого способу отримання інформації є помітний недолік - для цього людина повинна спеціально зчитувати шрифт пальцями і не може сприймати інформацію фоном.

Минулого року компанія Facebook розповіла про розробку пристрою, який також використовує фізичний контакт для виведення інформації за допомогою вібрації і закріплюється на руці, за рахунок чого його можна використовувати, не відволікаючись від інших справ. Тоді компанія коротко розповіла про розробку і заявила, що з його допомогою випробовувані навчилися розпізнавати кілька слів. Тепер розробники опублікували роботу з докладним описом вдосконаленого прототипу і розповіли, що змогли домогтися значно вищих результатів.

Пристрій являє собою манжету, що вдягається на передпліччя. На її внутрішній частині розташовані два масиви віброактуаторів: по 8 з кожного боку руки. Пристрій може передавати інформацію через періодичну вібрацію різних вібромоторів і дослідники розробили незвичайний спосіб кодування інформації, що дозволяє передавати велику кількість слів, а не тільки кілька базових сигналів.

Вони використовували фонематичний підхід, при якому кожному унікальному набору вібрацій актуаторів зіставлено не конкретне слово, а фонема. Для того, щоб вібрації нагадували реальну вимову фонем, дослідники використовували для них різні місця на руці. Наприклад, якщо звук створюється рухом 1916, для відображення фонеми використовується вибрація на передній частині манжети. Згодні і гласні в такій системі також відрізняються: для відображення згодних використовується простий вплив в одній частині руки, а для передачі гласних вібрація «пересувається» по руці.

Дослідники написали спеціальну програму для навчання людей такому способу сприйняття тексту. У ній вони можуть скільки завгодно раз натискати на будь-які фонеми або цілі слова, щоб вивчити їх. Після цього користувач проходить кілька тестів. У деяких йому потрібно розпізнати слова, які він вже вивчав, наприклад, йому можуть поставити питання, відповідь на яке потрібно вписати на комп'ютері. Також користувача тестують і за допомогою слів, які він раніше не «чув» через інтерфейс.

Розробники відзначають, що досягли значних успіхів порівняно з раннім прототипом. Після ста хвилин навчання випробовувані змогли вивчити сто слів з точністю розпізнавання на рівні 90 відсотків, а деякі з них після ще ста хвилин навчання досягли результату в 500 слів. Вважається, що такого словникового запасу достатньо для спілкування на базовому рівні.

Варто зазначити, що подібний спосіб отримання інформації підходить не всім. Деякі люди мають спадкове захворювання, що викликає алергічну реакцію на вібрацію. У 2016 році вчені виявили генетичну причину цього захворювання.