Шолом доповненої реальності Hololens перетворили на навігатор для сліпих

Американські інженери розробили додаток для шолома віртуальної реальності HoloLens, що дозволяє сліпим сприймати навколишній світ через звукові підказки. Воно може вести користувача за заданим маршрутом, повідомляючи йому про наближення поворотів і перешкод, наприклад, сходинки. Крім того, віртуальні об'єкти, розташовані по дорозі, можуть повідомляти про своє місце розташування, видаючи звук або голос з певного боку, розповідають розробники в препринті, опублікованому в bioRxiv.org.

Зазвичай сліпі і слабозорі люди орієнтуються в навколишньому просторі за допомогою білої тростини або собаки-поводиря, але інженери розробляють більш досконалі пристрої. Як правило, вони допомагають у глобальній навігації - наприклад, підказують назви закладів на вулиці або повідомляють про наближення перехрестя. Але замінити білу тростину, що дозволяє відчувати об'єкти в безпосередній близькості, більшість з таких пристроїв все одно не може.

Група інженерів під керівництвом Маркуса Майстера (Markus Meister) з Каліфорнійського технологічного інституту створила навігатор для сліпих, що дозволяє їм переміщатися в приміщеннях і виявляти предмети навколо. За основу вони взяли вже наявну апаратну платформу - шолом доповненої реальності Microsoft Hololens. Він оснащений кількома камерами, в тому числі камерою глибини, і вміє створювати об'ємну карту навколишнього простору. Крім того, в шоломі є динаміки, розташовані з обох сторін голови.

Розробники створили додаток для шолома, що використовує ці можливості для аудіонавігації в приміщеннях. Програма може працювати в декількох режимах. В одному з них віртуальні об'єкти (які можна прив'язати до реальних) можуть видавати звук або голос, який за рахунок динаміків буде сприйматися людиною саме з того боку, з якого вони знаходяться відносно нього. За рахунок цього користувач може дізнатися про розташування предметів у приміщенні або вибрати один з них і йти до нього, визначаючи напрямок за звуком. Крім того, система сповіщає користувача про занадто близькі до нього предмети або стіни, видаючи шиплячий звук.

Одне з головних застосувань програми - навігація за заданим маршрутом. Для цього маршрут необхідно попередньо розмітити, позначивши на ньому повороти та інші небезпечні ділянки. Під час навігації перед людиною виникає віртуальний помічник, який постійно вимовляє «Іди за мною». Завдяки тому, що динаміки передають напрямок звуку, людина може слідувати в правильному напрямку за помічником. Також помічник попереджає про повороти, сходинки, поручні та інші важливі об'єкти попереду. Розробники провели випробування навігатора на семи добровольцях, які повинні були пройти складний маршрут на двох поверхах. Незважаючи на відсутність попереднього тренування, всі випробовувані впоралися із завданням з першого разу.

Минулого року інша американська група інженерів створила навігатор для сліпих, який також вміє передавати інформацію про навколишні об'єкти, але не через звук, а через вібрацію і точки на дисплеї Брайля. Він може попереджати людину про наближення до будь-якого об'єкта, а також розпізнавати стільці і столи поблизу.