Доповнену реальність зробили більш інтерактивною

Американські розробники створили прототип нової програми для смартфонів і планшетів, яка дозволяє малювати в доповненій реальності інтерактивні елементи, що взаємодіють як між собою, так і з об'єктами реального світу. Наприклад, вона дозволять «оцифрувати» підвішений на стелі маятник і «наклеїти» на стіну графік, який буде в реальному часі відображати кут нахилу маятника. Автори детально розповіли про розробку на своєму сайті і в статті на arXiv.org, а також офіційно представлять її на жовтневій конференції UIST 2020.

На обох основних мобільних платформах (Android і iOS) є потужні системні фреймворки доповненої реальності. Вони якісно відстежують поверхні, щоб «прив'язувати» віртуальні об'єкти до одного місця в реальному світі, вміють розпізнавати перекриття віртуальних об'єктів реальними і навіть підлаштовувати напрямок віртуального джерела світла під реальний. Найчастіше в додатку доповненої реальності користувач розміщує один об'єкт на плоскій поверхні і може спостерігати його з різних сторін, але в деяких програмах передбачені динамічні взаємодії. Наприклад, в iOS 12 розробники додали додаток, який розпізнає прямокутні об'єкти і автоматично підраховує їх розміри і площу.

Незважаючи на те, що існує багато окремих алгоритмів комп'ютерного зору і доповненої реальності, які можуть працювати в реальному часі на мобільних пристроях, досі AR-додатки сильно обмежують користувача в сценаріях взаємодії з віртуальними і фізичними об'єктами.

Розробники під керівництвом Деніела Лейтінгера (Daniel Leithinger) з Університету штату Колорадо в Боулдері створили додаток-прототип, що демонструє нові типи взаємодій, можливі в додатках доповненої реальності. Автори розділили його роботу на кілька типів операцій.

Оскільки в першу чергу розробники відпрацьовували взаємодію з фізичними об'єктами, як правило, спочатку необхідно виділити цікавий предмет. Для цього достатньо перейти в режим виділення, натиснути на предмет на екрані, після чого він стане виділений білим кольором. Розробники застосували для цього відстеження за кольором (HSV-величинами) за допомогою відкритого фреймворку OpenCV. На планшеті авторів алгоритм працював у реальному часі з частотою 20-30 кадрів на секунду.

Другий тип операцій - це малювання динамічних ліній. Наприклад, лінією можна поєднати виділений об'єкт і з іншим статичним. Якщо потім пересунути об'єкт в інше місце, лінія в реальному часі послідує за ним, а довжина, що відображається на ній, зміниться. У програмі можна відстежувати і кути, якщо провести на екрані не лінію, а дугу. У такому випадку програма теж динамічно змінюватиме довжину дуги і показуватиме значення кута.

Параметри віртуальних ліній та дуг можна пов'язувати між собою. Наприклад, якщо намалювати дві лінії з одного центру, одна з яких йде до предмета, а друга закінчується в порожньому місці, то, зв'язавши їх кути між собою, можна отримати пару ліній, що рухаються симетрично. Також величини можна візуалізувати. Наприклад, можна намалювати графік або записати рух відстежуваного об'єкта, а потім показати в просторі його траєкторію у вигляді точок або лінії.

Автори вважають, що найбільше розробка стане в нагоді в навчанні. Наприклад, вчителі фізики можуть пояснювати різні ефекти з курсу механіки, а фітнес-інструктори можуть відзначати особливості вправ. Також потенційно за допомогою цього набору алгоритму можна створювати інтерфейси для взаємодії з комп'ютером, що складаються з віртуальних і реальних елементів.

У 2018 році інженери з Leap Motion, що випускає датчики відстеження рук, показали прототип програми, що додає на руки користувача інтерактивні віртуальні носимі пристрої. А в травні цього року французький програміст випустив додаток, що копіює об'єкти з реального світу і переносить їх в Adobe Photoshop.