Apple і її майбутнє в світі мобільної фотографії. Частина друга

У попередній статті ми пробіглися за технологією глибинного сканування сцени, портретним функціям моделі iPhone 7 Plus, а також портретному освітленню, притаманному камері iPhone 8 Plus і прийдешнього iPhone X. У цій частині ми кинемо погляд на більш ексклюзивну технологію TrueDepth, яка буде реалізована тільки в iPhone X, а також на інші особливості, у тому числі технологію машинного навчання, яка буде застосовуватися на всіх пристроях, що використовують операційну систему iOS 11.

TrueDepth виводить селфі на новий рівень

На WWDC, що проходила цього літа, "17 Apple представила новий пакет інструментів розробника Depth API під iOS 11 для використання та обробки різних шарів даних зображення, отриманого за допомогою подвійної камери iPhone 7 Plus. Компанія також натякнула на розробку альтернативної технології, яка зможе ще більш точно створювати глибинну карту зображень, порівняно з тим, що пропонує подвійна камера iPhone 7 Plus.

Одним з перших додатків, де було вирішено застосувати нову технологію TrueDepth, стало портретне освітлення, але цього разу для фронтальної камери, щоб фотографії себе коханого виходили ще соковитіше завдяки імітації ефекту студійного освітлення, до цього доступного тільки для подвійної тильної камери iPhone 7 Plus. Правда в той час, як подвійна камера веде розрахунок карти глибин шляхом сканування різниць між двома просторовими точками на двох отриманих зображеннях з двох камер, TrueDepth для фронтальної камери використовує матрицю з відображеного невидимого світла, що в теорії дозволяє створювати ще більш подібну карту глибин і, відповідно, більш детальний знімок.

Анімодзі і TrueDepth

Крім обробки даних просторової глибини знімка аналогічно подвійним камерам моделей iPhone 7 Plus і iPhone 8 Plus, для роботи портретного режиму і портретного освітлення сенсори TrueDepth на iPhone X можуть аналізувати рух понад 50 лицьових м'язів і на базі цих даних створювати анімований аватар користувача у вигляді голови якоїсь істоти. Apple назвала ці аватари анімодзі (animoji). Як основу компанія вибрала 12 найпопулярніших звичайних емодзі і перетворила їх на справжні 3D-маски, які можна використовувати, наприклад, при спілкуванні в iMessage. Крім
того, з випуском iOS 11 технологія TrueDepth стала відкритою для сторонніх розробників і дозволяє створювати власні ефекти. Творці програм та ігор можуть створювати власні аватари та синхронізувати їх з мімікою обличчя користувача.

До розчарування користувачів системи Android, адаптувати ці анімовані аватари на цій системі буде дещо складніше, оскільки стандартні емодзі від Google, Samsung та інших виробників, м'яко сказати, не зовсім для цього підходять. Адже не дарма навіть Google вирішила відмовитися від своїх дивних емодзі в останній ітерації Android 8 «Oreo» і зробити вибір на користь iOS'o-подібних. Правда для того, щоб «фішка пішла в маси», буде потрібна певна кількість часу.

У Android просто немає можливостей швидко впровадити ті функції, які може впровадити і вже впровадила Apple. Занадто багато особливостей як в апаратному, так і програмному середовищі і занадто багато виробників, що створюють ці особливості. Навіть виробляються за специфікацією Google смартфони Pixel відстають в цьому плані від Apple на кілька порядків.

У тому ж останньому Pixel 2 постаралися «скопіювати» портретний режим, представлений Apple ще в минулому році, і Live Photos, яким вже років два. Зрозуміло, ні про який аналог того ж портретного освітлення тут мови не йде, не кажучи вже про анімодзі або той же реальний прорахунок глибини сцени на зображенні, які необхідні для підтримки даних функцій.

TrueDepth и Face ID

Завдяки TrueDepth Apple вирішила ввести нову функцію аутентифікації Face ID, зробивши її альтернативою Touch ID. Що цікаво, критики і скептики вже почали скаржитися на «криву» роботу Face ID, ще, власне, навіть її не випробувавши. Однак правда така, що нова система пропонує ще більш надійний спосіб оцінки біометричних даних користувача, порівняно з крихітним сенсором Touch ID.

Face ID не просто «використовує вашу особу для авторизації». Система набагато складніша, ніж може здатися на перший погляд. Ви як і раніше можете використовувати звичайний пароль безпеки для входу в систему і змінювати його при бажанні. Але зловмисники навряд чи зможуть роздобути тривимірне зображення вашого обличчя для авторизації. На демонстраційному стенді iPhone X спроба розблокувати телефон навіть зареєстрованим користувачем не вдалася з огляду на те, що в кадрі, крім іншого, знаходилося обличчя сторонньої людини.

"Тут важливий аспект дистанції. Розблокувати телефон, коли його тримає хтось ще, практично неможливо ", - прокоментувала людина, яка демонструє пристрій і в ту ж секунду без зусиль його розблокувала на звичайній відстані зігнутої руки. А як зазначають журналісти західного ^ Insider, процес розблокування за допомогою Face ID довелося навіть знімати в слоу-мо, оскільки система працює настільки швидко, що руках авторизованого користувача вона спрацювала фактично миттєво.

Face ID (як Touch ID) просто пропонує більш простий і в той же час надійний спосіб пропустити захоплююче заняття з ручного введення вашого пароля для розблокування пристрою, ускладнюючи при цьому завдання з його злому. Крім того, у разі втрати пристрою, у користувача буде можливість віддалено відключити цю систему. Таким чином, у того, хто вирішить зламати біометричну систему на вкраденому телефоні, залишиться для цього дуже мало часу і можливостей, щоб це зробити.

Система біометричної ідентифікації може бути відключена у всій системі iOS. Але важливо відзначити, що, незважаючи на початкові вигуки аналітиків і експертів про те, що введена ще з часів iPhone 5s біометрична система ідентифікації підвищить рівень вразливості особистих даних користувачів, статистика показала швидше серйозний спад у крадіжках пристроїв, що використовують такі системи, але в той же час підвищила увагу і заклопотаність правоохоронних служб, яким тепер отримати доступ до особистих даних осіб, які їх цікавлять, стало набагато складніше через підвищення ефективності захисту.

Незважаючи на уявну складність системи, правильна її реалізація на iOS показала, що вона дійсно може бути ефективною. Чого не скажеш про Android, де головні ліцензіати в особі Samsung і HTC, які першими представили подібні системи, першими ж з ними і облажалися, а потім швидким темпом перейшовши на незручну систему лицьового розпізнавання, знову прорахувалися, так як її ефективність і надійність опинилися під великим питанням.

Використовуючи унікальну, спеціально розроблену і оптимізовану технологію камери TrueDepth на iPhone X, Apple отримала більш ефективний інструмент, що знижує ризик помилкових спрацьовувань і істотно знижує можливість обходу системи при біометричній ідентифікації. Звичайно ж, вартість подібної системи сенсорів, швидше за все, захистить більшість Android-виробників від її використання. Зовсім недавно, наприклад, Google зазначила, що, за її очікуваннями, 1/3 від усіх проданих Android-смартфонів будуть являти собою пристрої ціною до 100 доларів.

Незважаючи на серйозні відмінності в ціновій вазі, Apple очікує, що її смартфон вартістю від 1000 доларів і вище куплять більше третини її майбутніх клієнтів (а можливо, і половина). І є цілий ряд причин, з яких користувачі захочуть придбати такий пристрій, але найважливіше, що всі вони отримають доступ до технології TrueDepth, а це означає, що у сторонніх розробників розв'яжуться руки при вигляді всієї цієї величезної бази користувачів в кілька десятків мільйонів потенційних клієнтів.

На додаток до складнощів адаптації повноцінно функціонуючих апаратних сенсорних 3D-засобів у своїх смартфонах, Android-ліцензіати зіткнулися з ще однією проблемою, яку Apple, в свою чергу, вже давно вирішила, - відсутністю повноцінної екосистеми і реально якісних засобів для демонстрації.

Як повідомляли недавні звіти, китайські виробники зіткнулися зі складністю адаптації 3D-сенсорів, побудованих компаніями Qualcomm/Himax. Також зазначалося, що «виробникам смартфонів потрібно більше часу для створення потрібної екосистеми у вигляді прошивки, програмного забезпечення і додатків, необхідних для ефективної продуктивності сенсорних 3D-модулів, призначених для підтримки таких функцій, як сканування відбитків пальців або сенсорного управління», роблячи з цього висновок, що «такі труднощі стають основним бар'єром перед інтеграцією 3D-сенсорних технологій у смартфони».

Android і відсутність глибини

Спроби сторонніх виробників заповнити ринок сенсорами 3D-камер для мобільних пристроїв нічим масовим так і не обернулися. Google працювала з технологіями компанії PrimeSense протягом декількох років в рамках свого проекту Tango, але сама поки так і не змогла переконати чутливих до ціноутворення Android-ліцензіатів адаптувати необхідні для роботи цієї системи технології.

Як тільки Apple продемонструвала інструмент для розробки доповненої реальності (AR) ARKit, Google тут же перейменувала частину платформи Tango в «ARCore», мабуть, таким чином намагаючись повернути інтерес до своєї технології за рахунок шуму навколо конкурента. Але знову ж таки відсутність встановленої бази Android-пристроїв з підтримкою функцій доповненої реальності і ще менший запас можливості роботи з глибинним аналізом даних, що збираються будь то подвійною камерою або будь-яким типом сенсору глибини, в результаті не дозволили до прийти до чогось конкретного.

Крім того, децентралізована природа самої системи Android не тільки призводить до таких проблем, як фрагментація і відсутність оптимізації, але також і задає курс на виробництво наддешевих пристроїв, а не продуктивного обладнання і спеціалізованих камер, необхідних для обробки складних AR-даних, що збираються на базі камер з технологією глибинного аналізу сцени. А замість того, щоб почати виробляти дійсно потужне залізо, Google довгі роки просувала ідею, що Android, Chrome і Pixel - це продукти, які можуть зайняти нижній ціновий сегмент і демонструвати свою ефективність за рахунок підключення до потужних хмарних сервісів. Але це, в свою чергу, породило серед народу припущення, що єдине, що реально потрібно компанії, так це дані про її користувачів, в той час як питання можливості запропонувати кращі варіанти реалізації просунутих технологій своїм клієнтам для неї другорядне.

Продуктивність процесора Apple A11 Bionic на тлі процесорів конкурентів

Як відзначають аналітики, Apple продовжує нарощувати свій відрив у підвищенні потужності пристроїв, а це, в свою чергу, призводить до того, що iOS-пристрої стають все більш і більш здатними до ефективної роботи без необхідності наявності високошвидкісного з'єднання з хмарними сервісами. Наприклад, та ж функція біометричної автентифікації працює повністю в локальному режимі, що докорінно знижує ризик перехоплення користувальницьких даних сторонніми особами.

Новий рівень глибини: Vision и CoreML

Наявність величезної обчислювальної потужності укупі з можливістю розпізнавати об'єкти, положення, рух і навіть обличчя конкретних людей на фото робить можливим для Apple використання так званого комп'ютерного зору на своїх пристроях - технології, яка вже використовувалася при обробці статичних фотографій, а тепер стала доступною і для використання в режимі безпосередньої зйомки.

Зрозуміло, Depth стала не єдиною технологією, що призначається для обробки зображення на iOS. На додаток до нових функцій, що потребують наявності двох камер, а також нової технології TrueDepth для iPhone X, вихід iOS 11 супроводився випуском справжнього алгоритму машинного навчання, який буде використовуватися камерами пристроїв на базі iOS 11.

Новий фреймворк Vision для iOS 11 забезпечує високопродуктивний аналіз зображень і, використовуючи технологію комп'ютерного зору, розпізнає в кадрі обличчя, їх особливості, а також спрощує вибудовування сцени на створюваних фото і відео. В основі Vision лежить фреймворк CoreML, який використовує технологію машинного навчання. Результати роботи цього фреймворку можна оцінити до цього хоча б у тій же Siri або клавіатурі QuickType. У технічні особливості кожного ми вдаватися не будемо, але перелічимо деякі можливості, які можна реалізувати завдяки їх спільному використанню в створюваних додатках:

• розпізнавання зображень у реальному часі;
• передиктивне введення тексту;
• розпізнавання образів;
• аналіз тональності;
• розпізнавання рукописного тексту;
• ранжування пошуку;
• стилізація зображень;
• розпізнавання облич;
• ідентифікація голосу;
• визначення музики;
• реферування тексту;
• і не тільки.

Цього літа Apple відзначала, що CoreML вже працює в шість разів швидше, ніж існуючі аналоги на Android. При цьому йшлося про роботу на iPhone 7. Всі функції нового фреймворку Apple пообіцяла надати стороннім розробникам, які бажають удосконалити свої додатки.