Міні-радар Google Soli розпізнав кількість аркушів у стосі паперу

Канадські та британські інженери навчили міні-радар Google Soli розпізнавання предметів та інших складних дій. Наприклад, розробникам вдалося навчити радар визначати, скільки аркушів паперу знаходиться над ним, а також розпізнавати конкретні банківські картки. Стаття була представлена на конференції IMWUT 2018.

У 2015 році Google представила проект Soli, в рамках якого інженери компанії розробили міні-радар, призначений для розпізнавання жестів користувача. Він має розмір у кілька міліметрів і працює в діапазоні частот 57-64 гігагерці, використовуючи вісім каналів. Радар випромінює радіохвилі за допомогою двох випромінювачів і приймає відбиті сигнали через чотири приймачі. Метою інженерів Google була розробка інтерфейсу нового типу, який зможе замінити або доповнити сенсорні екрани в невеликих пристроях. Як приклад Google показала прототип розумного годинника з вбудованим радаром, якими можна керувати за допомогою жестів у повітрі.

Інженери під керівництвом Аарона Куіглі (Aaron Quigley) з Сент-Ендрюсського університету показали, що цей радар можна використовувати і для інших цілей. В якості апаратної платформи розробники використовували сам радар, а також комп'ютер Intel NUC, на якому в реальному часі проводилася обробка сигналу. Для обробки сигналу інженери використовували свою попередню розробку RadarCat. Після отримання сигналу з радара він піддається попередній обробці, в результаті якої кожного запису сигналу зіставляється 661 ознака. Потім цей набір ознак класифікується вільним пакетом машинного навчання Weka за допомогою методів випадкового лісу, що ковзає контролю за окремими об'єктами та опорними векторами. У результаті алгоритм визначає об'єкт або дію, що має найбільш схожий набір ознак.

Після збору безлічі навчальних прикладів розробники навчили алгоритми класифікації та продемонстрували їх можливості на прикладі шести типів завдань. Інженери показали, що радар здатний рахувати кількість об'єктів, складених один на одного. Наприклад, інженери поклали на радар колоду з 52 карт і прибирали по одній. Точність визначення кількості карток у колоді становила 99,5 відсотка. При повторенні експерименту на стосі з 20 аркушів паперу A4 точність склала 88,6 відсотка. Крім того, алгоритми виявилися здатні точно визначати і порядок розташування об'єктів. В експериментах з чотирма банківськими картами точність визначення їх розташування склала 99,5 відсотка. Також інженери показали, що алгоритми радара здатні ідентифікувати окремі об'єкти, розраховувати відстань до них і визначати тип їх руху.

Одна з проблем радара Google Soli, що знижує його точність, полягає в низькій потужності випромінювання. У березні 2018 року Google подала заяву до Федеральної комісії зі зв'язку (FCC) США, в якій просила дозволити використання радара на вищій потужності, і 31 грудня 2018 року комісія видала компанії відповідний дозвіл.

Крім Google Soli існують й інші проекти, що використовують незвичайні принципи роботи для зчитування жестів пальцями. Наприклад, інженери з Вашингтонського університету навчили розумні годинники розпізнавати жести пальцем за допомогою динаміка і мікрофона, а американські і китайські інженери створили розумні годинники, які виводять зображення на руку користувача і визначають дотик до елементів інтерфейсу за допомогою масиву інфрачервоних датчиків відстані.