Смартфон підлаштував інтерфейс під розташування пальця по його відбиттю в очах

Японські розробники навчили смартфони підлаштовувати інтерфейс під розташування пальця, навіть якщо він не стосується екрану. Виявилося, що дозволу камер у сучасних смартфонах достатньо, щоб розпізнати палець, екран і їх взаємне розташування по відбиттю в очах. Стаття була представлена на конференції CHI 2022.

Майже всі сучасні смартфони мають такий великий екран, що дотягнутися до всіх його країв пальцем складно. У мобільних операційних системах і деяких додатках є режим управління однією рукою, який переміщує основні елементи інтерфейсу ближче до великого пальця, щоб до них було простіше дотягнутися. Але якщо поворот екрану смартфони вміють визначати самостійно, підлаштовуючи інтерфейс під горизонтальну або вертикальну орієнтацію, то режим використання однією рукою доводиться включати самостійно, тому що визначати розташування рук досить складно.

У 2016 році дослідники з Microsoft показали, що розташування пензля і пальця над екраном можна визначити без дотику до нього зі зміни параметрів сенсорного екрану в різних його областях. Група інженерів під керівництвом Юти Сігіура (Yuta Sugiura) з Університету Кейо запропонувала незвичайний спосіб визначення розташування пальців над екраном і показала на практиці, як це можна використовувати, щоб зробити інтерфейс зручнішим для людини.

Ідея інженерів полягає в тому, що коли користувач тримає смартфон, як правило, його палець висить над екраном і затуляє світло від нього. І оскільки в практично кожному смартфоні є фронтальна камера, цю картину у вигляді яскравого екрану і тіні від пальця можна побачити у відображенні від ока. Потенційно для цього можна використовувати майже будь-який смартфон без будь-яких апаратних модифікацій.

Розроблений авторами алгоритм робить знімок на фронтальну камеру, потім вирізає область з оком, а після цього ще раз вирізає вже область зіниці, в якій знаходиться відображення. Після цього зображення подається на згорточну нейромережу, яка розпізнає в ній один із шести варіантів розташування пальців:

Для навчання алгоритму автори попросили 13 добровольців зібрати дані: потрібно було зробити по 12 знімків для кожного варіанту розташування рук. Щоб алгоритм був стійкий до різних умов, під час зйомки смартфон використовував різну яскравість, а вже зроблені знімки доповнили їх злегка повернутими або збільшеними копіями, щоб зібрати більш об'ємний датасет. Тестування навченої моделі на незнайомих даних (крос-валідація з винятком даних одного учасника) показало середню точність класифікації в 41 відсоток. Якщо ж у навчальній і тестовій вибірці були дані від усіх добровольців, то точність підвищувалася до 85 відсотків - але при реальному використанні це означає, що людині необхідно відкалібрувати алгоритм під себе, зробивши кілька десятків знімків, що досить незручно.

В якості практичного застосування розробники показали три приклади. В одному смартфон підлаштовує кнопки в додатку під розташування пальців. В іншому від цього залежить те, як розташовується клавіатура - по центру або ближче до одного з країв. А в третьому прикладі смартфон попереджає людину, що він занадто довго тримає смартфон в одній руці.

Інженери не вперше показують можливості камер у сучасних смартфонах. Наприклад, Google навчилася визначати по камері частоту серцебиття і дихання, а інша група інженерів показала, що по відео з камери можна виміряти навіть кров'яний тиск.