Microsoft поліпшила систему віртуальної реальності для сліпих

Інженери з Microsoft Research представили нову систему віртуальної реальності для сліпих і слабозорих людей. Порівняно з попередньою версією, яка дозволяла рухати віртуальну тростину тільки в горизонтальній площині, в новій - три гальма, завдяки яким тростину можна піднімати, опускати, а також притягувати до себе і ставити практично перпендикулярно землі. У систему вбудовано вібромотор, який дозволяє отримувати гаптичну відповідь від контакту тростини з поверхнями, а доповнюється взаємодія з середовищем заздалегідь записаними звуками. Сім із восьми слабозорих учасників, які випробували віртуальне середовище, впоралися з навігацією без сутичок, повідомляють на сайті компанії.

У 2018 році компанія Microsoft вперше показала Canetroller - свою систему віртуальної реальності для сліпих і слабозорих людей. Основний інструмент такої системи - тростина, за допомогою якої відбувається контакт користувача з середовищем: вона приєднана до закріплюваного на поясі металевого стрижня, яким вільно рухається. До стрижня приєднаний вібромотор, а до самої тростини - датчик: при зіткненні з віртуальними об'єктами тростина зупиняється, імітуючи зіткнення реальне. Крім того, така система дозволяє розпізнавати деякі поверхні: для цього при контакті, наприклад, з віртуальною тротуарною плиткою в навушники користувачеві надсилається відповідний звук.

Основний недолік Canetroller - обмежена кількість ступенів свободи: тростину в такій системі можна рухати тільки в горизонтальній площині, що може сильно ускладнити навігацію у великому віртуальному просторі. У новій системі навігації, створеній за участю Майка Сінклера (Mike Sinclair), який працював над Canetroller, конструкція тростини залишилася приблизно такою ж, але в неї, крім гальма в горизонтальному просторі, додано ще два: вертикальне гальмо в підставі металевого стрижня, а також гальмо на кінці тростини в місці закріплення на стрижні.

Така конструкція дозволила значно збільшити кількість ступенів свободи: тростину можна рухати горизонтально і вертикально, а також у напрямку до себе. Збільшення ступенів свободи не тільки розширює діапазон взаємодії, але також і дозволяє, наприклад, поставити тростину перпендикулярно землі.

Як і в Canetroller, у новій системі є можливість імітувати контакт з різними поверхнями за допомогою встановленого в тростині вібромотора і заздалегідь записаного звуку. Цікаво, що нова система дозволяє розрізняти не тільки самі поверхні, але і рух, який використовується для контакту з ними: так, користувач може постукати або провести віртуальною тростиною по віртуальному бетону - і звуки, і гаптична відповідь будуть різними.

Для перевірки роботи нової системи дослідники створили складне віртуальне середовище розміром шість на шість метрів: у ній встановлено кілька різних перешкод у вигляді блоків, стін або перегородок, а крім гаптичної відповіді, отримуваної вібровіддачею від тростини, для навігації використовуються звуки і їх динаміка в просторі. Середу випробували вісім слабозорих людей: сімом з них вдалося успішно виконати завдання (дістатися до предмета), не стикаючись з віртуальними перешкодами.

Досвід користувачів у віртуальному середовищі також сильно залежав від матеріалу наконечника тростини: учасники, які для навігації у віртуальній реальності використовували тростину з пластиковим наконечником, частіше повідомляли про дивні відчуття при контакті з об'єктами. Це, за словами вчених, пояснюється тим, що при записі звуків контакту з поверхнями і вібровіддачі використовувалася тростина з металевим наконечником. Ті учасники, яким дісталася тростина з металевим наконечником, в свою чергу, нічого дивного не помітили: це, крім іншого, говорить про важливість підбору матеріалу для взаємодії з віртуальним середовищем. Більше подробиць про роботу нової системи віртуальної навігації можна також знайти в препринті, викладеному на сайті компанії.

Ще одне корисне пристосування для сліпих і слабозорих - розумні окуляри з вбудованим розпізнаванням і голосовим помічником, наприклад, ті, які нещодавно представила голландська компанія Envision: свою систему розпізнавання вони вбудували в окуляри Google Glass Enterprise Edition.