Создан искусственный интеллект, который способен распознавать язык жестов при помощи смартфона. Как это работает

Разработчики Google AI Labs создали технологию, которая распознает жесты рук при помощи камеры смартфона.
Как пишет Knife со ссылкой на TechCrunch, программа работает в настоящем времени: она наблюдает за положением ладони и пальцев, а затем вычисляет, какой жест изображает человек.
Алгоритм научили распознавать жесты при помощи 30 тысяч изображений рук в разных положениях и при разном освещении. На каждой фотографии ученые вручную обозначили элементы, за которыми должна следить программа.
По словам разработчиков системы, Валентина Базаревского и Фана Чжана, аналоги программы работают только на мощных компьютерах, а их алгоритму хватает производительности мобильного телефона. К тому же искусственный интеллект способен различать жесты нескольких рук одновременно — несмотря на то, что они часто закрывают друг друга.
Чтобы настроить сложную технологию под смартфон, разработчикам пришлось сократить количество данных, которое обрабатывает алгоритм. Для этого они отказались отслеживать положение и размер всей руки — вместо этого программа ищет только ладонь. После нее система переходит на пальцы.
Определив положение ладони и пальцев, ИИ сравнивает их с уже известными жестами: «мир», «метал», «Человек-паук» или просто число.
Как написали разработчики в блоге Google AI, их технология пока еще в начале разработки, но со временем ее можно будет превратить в устройство, которое поможет распознавать язык жестов. Команда опубликовала исходный код алгоритма, ожидая идей от других специалистов.