Abstract:
Системы распознавания жестов сильно изменились за последнее время,
благодаря разработке современных устройств захвата данных (сенсоров) и разработке
новых алгоритмов для распознавания. В статье представлены результаты исследования
для распознавания статических и динамических жестов рук из видеопотока с RGB и RGBD
камер, а именно с веб-камеры Logitech HD Pro Webcam C920 и с камеры глубины Intel RealSense D435. Программная реализация выполнена с использованием инструментов
Python 3.6. Python-библиотеки с открытым исходным кодом обеспечивают надежную
реализацию алгоритмов обработки и сегментации изображений. Подсистема извлечения
признаков и классификации жестов построена на основе архитектуры нейронной сети
VGG-16, реализованной c использованием фреймворков глубокого обучения TensorFlow и Keras. Приведены технические характеристики камер. Описан алгоритм
работы приложения. Приведены исследования, направленные на сравнение устройств захвата данных, при различных условиях эксперимента (по расстоянию и освещенности). Экспериментальные результаты показывают, что использование камеры глубины Intel RealSense D435 обеспечивается более точное распознавание жестов при различных условиях эксперимента.
