Найточніша програма для читання по губах

Всі, напевно, пам'ятають, як комп'ютер HAL 9000 у фільмі «Космічна одіссея 2001 року» прочитав по губах плани астронавтів, що спричинило найсумніші наслідки. І ось тепер дослідники в реальному світі навчили комп'ютери, як читати по губах.

LipNet розроблений дослідниками з Оксфордського університету. Це не перша програма для читання по губах, але зараз вона найточніша, досягнувши вражаючої 93,4% точності, порівняно з 52%, які досягає досвідчена людина, яка вміє читати по губах.

Ґрунтуючись на попередніх дослідженнях, вчені зрозуміли, що люди краще читають по губах і розуміють, що конкретно сказано, коли мають справу з довгими словами. Тому LipNet не аналізує інформацію пословно, а бере до уваги цілі пропозиції, після чого використовує техніку глибокого навчання, щоб вже, виходячи з цілого, розшифрувати кожне окреме слово.

Що це означає для інших людей, не вчених? На смартфоні разом з камерою, яку можна носити на тілі, LipNet може бути чудовим інструментом для людей з ослабленим слухом або ж взагалі глухих. Навіть якщо вони вже володіють навичкою читання по губах, така програма значно їм допоможе, так що LipNet може ще більше полегшити комунікацію тим, хто відчуває з нею проблеми.