Вестник КазНУ. Серия математика, механика, информатика (Nov 2018)
Метод опорных векторов для распознавания жестовой речи с использованием сенсора KINECT
Abstract
Для распознавания жестов использованы различные методы, среди них: метод опорных векторов, скрытые марковские модели, нечёткие модели, модель искусственного нейрона, метод разности изображения. Задачи по распознаванию жестовой речи любого языка характеризуются многими параметрами, в первую очередь, это характеристики канала передачи жестовой речи, размер словаря распознавания, вариативность жестов и т.д. Помимо существующих технико-экономических сложностей, на развитие казахских речевых технологий, которые включают в себя и распознавание жестового языка, в первую очередь, влияют особенности казахского языка и речи, вызывающие сложности в процессе автоматической обработки: множество правил словообразования, наличие семи падежей в образовании существительных, вариативность казахского языка и речи в виду наличия нескольких областей. Разработка базы данных для казахского жестового языка, состоящей из дактильной азбуки 42 жестов, является начальной ступенью при создании системы автоматического распознавания отдельных жестов рук. Для распознавания жестов использован сенсор Kinect, координаты скелета руки полученные от него и ключевые характеристики обработаны через XML файлы при помощи инструментов и математических вычислений в MATLAB. Объектом распознавания жестов в данной работе являются буквы и цифры и некоторые жесты в статичной форме.
