Título del Proyecto: Reconocimiento de Gestos de la Mano Usando Señales Electromiográficas (EMG) e Inteligencia Artificial

Objetivo General

Desarrollar nuevos modelos para el reconocimiento de 5 o más gestos de la mano utilizando señales Electromiográficas (EMG) y técnicas de inteligencia artificial con alto grado de exactitud de clasificación y reconocimiento y bajo costo computacional en términos del tiempo de procesamiento.

Objetivos Específicos

1. Analizar las propiedades estadísticas de las señales electromiográficas (EMG) generadas por los músculos del antebrazo, así como los modelos matemáticos que describen a este tipo de señales, mediante series de tiempo, para definir las condiciones y restricciones para su clasificación.
2. Analizar las propiedades probabilísticas y de aproximación de funciones matemáticas de técnicas de inteligencia artificial aplicables a la clasificación de series de tiempo para definir una lista de algoritmos aplicables a la clasificación de señales EMG.
3. Definir un protocolo para la evaluación de la exactitud de clasificación, exactitud de reconocimiento y el costo computacional en tiempo de modelos de reconocimiento de gestos.
4. Desarrollar un modelo específico o individual, que sea entrenable por cada usuario, para el reconocimiento de 5 o más gestos de la mano utilizando señales electromiográficas (EMG) y técnicas de inteligencia artificial.
5. Desarrollar un modelo general, usable por cualquier usuario, para el reconocimiento de 5 o más gestos de la mano utilizando señales electromiográficas (EMG) y técnicas de inteligencia artificial.
6. Implementar en Matlab® los modelos desarrollados para el reconocimiento de los siguientes gestos: mano a la izquierda, mano a la derecha, puño, mano abierta, y doble golpe de los dedos usando señales electromiográficas (EMG) adquiridas mediante un sensor comercial.
7. Evaluar la exactitud de clasificación, la exactitud de reconocimiento y el costo computacional en tiempo de los modelos propuestos y hacer comparaciones entre sí y con modelos de similar propósito propuestos en la literatura científica.

Estado: En fase de cierre

Conclusiones

Durante el proyecto se ha recolectado datos de 612 personas con el objetivo de construir modelos de reconocimiento de gestos de la mano con arquitectura específica y general por usuario. Una vez recolectado los datos, se analizaron y diseñaron diferentes algoritmos y técnicas basados en machine learning para clasificación de gestos. Después de un análisis podemos concluir que:

El método de Análisis de Componente Principales es importante en el sentido de que se puede realizar una reducción al conjunto de datos originales, siempre y cuando se conserve la cantidad de información necesaria para describir sus características.
Es posible utilizar combinaciones de clasificadores como redes neuronales junto a árboles de decisiones para mejorar el rendimiento que presentan individualmente cada uno de estos clasificadores.
Las redes neuronales artificiales ANN representan una herramienta poderosa para capturar las características esenciales de las relaciones EMG-fuerza del músculo que se contrae.
La codificación en autoencoders ayuda a identificar las características latentes presentes en los datos de entrada. Los autoencoders sirven como extractores para el reconocimiento de gestos de la mano ya que al codificar las entradas nos brinda las características más relevantes.
El algoritmo TSNE es muy utilizado debido a su flexibilidad ya que a menudo, puede encontrar una estructura que otros algoritmos de reducción de dimensionalidad no pueden encontrar. Por el contrario, esa misma flexibilidad hace que sea difícil de interpretar, ya que realiza todo tipo de ajustes que ordenan sus visualizaciones, fuera de la vista del usuario.
Del análisis realizado, se concluye que las redes neuronales son altamente recomendadas para el reconocimiento de gestos en tiempo real. La principal razón es que pueden aprender de datos secuenciales, es decir series de tiempo.

Con el análisis realizado, se presentó un modelo para el reconocimiento de gestos de la mano. Junto con este modelo también se propuso un algoritmo para corregir, mediante software, la orientación del brazalete EMG que se utiliza para medir las señales EMG en el antebrazo. Se reconoce en tiempo real 5 gestos de la mano: fist, waveIn, waveOut , fingerSpread y doubleTap. El modelo de reconocimiento de gestos propuesto es entrenable por usuario, lo que significa que está entrenado y probado con señales EMG del mismo usuario, pero su arquitectura es la misma para todos los usuarios. Para la arquitectura del modelo de reconocimiento se utiliza una red neuronal artificial de retroalimentación, que toma como entrada un vector de características compuesto por las covarianzas entre los canales EMG y 5 funciones aplicadas a cada canal. El algoritmo para la corrección de la orientación se basa en encontrar el índice del canal de energía máxima para un conjunto de EMGs de sincronización, que para este trabajo corresponden al gesto waveOut.

Contacto:

Dr. Marco Benalcazar Palacios, Docente-Investigador de EPN, marco.benalcazar@epn.edu.ec