Система представляет собой нейросеть, которая объединена с технологией машинного зрения.
Камера анализирует жесты говорящего, а нейросеть обрабатывает движения человека и переводит их к текстовое сообщение.
Также система построена таким образом, чтобы максимально сымитировать действия человека по время того, когда он пытается распознать речь говорящего на языке жестов. Эксперименты показали, что переводчик выполняет транскрипцию жестов с точностью до 90%.
«Мы внесли в программу 1006 жестов, если быть точными. Также разработали алгоритм для распознавания жестов, теперь можно выделять компоненты жеста, конфигурацию и ориентацию ладони, локализацию жеста, а также характер движения», — заявили разработчики НГТУ.
Ранее МедиаПоток сообщал, что нейросеть обучили анализировать видеозаписи хоккейных матчей.
