0
Алгоритм визначає, що людина використовує жестову мову, він за допомогою ультразвукового сигналу передає це додатку відеозв’язку.
Фото Jo Hilton, unsplash.com
Розробники з Google створили програму, яка визначає, коли людина на відеозустрічі використовує жестову мову та показує її як активного співрозмовника. Програма може допомогти людям із порушеннями слуху використовувати програми для відеозв’язку.
Про це йдеться у блозі Google AI.
Зокрема, люди з порушеннями слуху неможуть повноцінно використовувати програми відеозв’язку, коли це потрібно для роботи у час пандемії. Під час групового відеодзвінка програми зазвичай збільшено показують іншим співрозмовникам відео людини, яка зараз говорить. А якщо людина використовує жестову мову — так не відбувається.
Розробники створили програму, яка може допомогти таким людям. Ця програма умовно складається з двох частин.
Перша — знімає людину та створює схематичну модель рухів тіла та рук за допомогою алгоритму PoseNet. Він за допомогою оптичної оцінки рухів визначає, що співрозмовник активно рухає руками. Робота алгоритму не залежить від того, як далеко людина сидить від камери.
Коли алгоритм визначає, що людина використовує жестову мову, він за допомогою ультразвукового сигналу передає це додатку відеозв’язку.
Наприклад, у людини, яка розповідає щось жестовою мовою, ввімкнутий мікрофон, але він майже не вловлює звуків. Тож розробники вирішили до запису з мікрофонів таких співрозмовників додавати ультразвук із частотою 20 кГц, який не чують люди.
Алгоритм передає ці дані в додаток відеозв’язку, а він визначає такий ультразвук як шум і показує відео людини з жестовою мовою іншим учасникам відеоконференції.
Розробку вже протестували на німецькій жестовій мові. Точність визначення рухів людини складає 91,5%. Але програма ще має недоліки.
А саме: вона визначає активність людини в цілому та не розрізняє, коли використовують жестову мову чи просто махають руками. Крім того, наразі ці програми працюєть тільки з Windows та Mac. Коли працюватимуть на смартфонах, невідомо.
