Нейромережа навчили розуміти час по годинах зі стрілками

Британські розробники навчили нейромережу розуміти час на стрілочному годиннику. Для навчання вони зібрали два датасети: зі справжніх зображень і роликів з інтернету, а також штучних зображень. В результаті алгоритм навчився якісно визначати час, навіть якщо годинник знаходиться під великим кутом або на них є бліки. Стаття опублікована на arXiv.org.

Системи комп'ютерного зору добре адаптовані для роботи з текстами. Наприклад, користувач може навести камеру смартфона на книгу або оголошення і побачити в реальному часі накладений переклад, можливий завдяки тому, що алгоритми виявляють написи і розпізнають текст на них. З цифровим годинником можна застосовувати ті ж самі алгоритми. Зі стрілочними ж це неможливо, тому що інформація в них представлена в зовсім іншому вигляді. Однак стрілочний годинник як і раніше дуже поширений і можливість зчитувати час з них являє собою важливу задачу, вирішення якої може стати в нагоді, наприклад, роботам-помічникам.

Розробники з Оксфордського університету під керівництвом Ендрю Зіссермана (Andrew Zisserman) навчили нейромережу розуміти час на стрілочному годиннику в реальних умовах. Система складається з послідовності алгоритмів. Спочатку алгоритм виявляє у кадрі годинник і виділяє прямокутну область. Потім нейромережа з архітектурою ResNet-50 аналізує цю область і розтягує таким чином, щоб годинник був розташований прямо - так, ніби вони були прямо перед камерою, а не під кутом. Після цього інша нейромережа ResNet-50 розпізнає на годиннику час.

Крім алгоритму важлива частина роботи полягає в тому, що автори створили генератор зображень годин, щоб спростити навчання. У ньому можна налаштовувати параметри годинника, наприклад, їх форму та кількість стрілок, а також створювати артефакти зображень, щоб зробити зображення ближчими до реальних. За допомогою цієї програми автори зібрали датасет для навчання, розмір якого вони не вказують. Крім того, вони зібрали датасет з 3443 таймлапс-відеороликів з годинником. В результаті вони навчили алгоритм розуміти час на стрілочному годиннику в реальних умовах.

Є й інші приклади, коли нейромережа навчили розуміти інформацію в незвичному для комп'ютерів форматі, наприклад, мова по руху 1916, а не звуку.