Em-sign: un método de reconocimiento sin contacto basado en radar doppler de 24 GHz para señales y diálogos continuos
Autores: Ye, Linting; Lan, Shengchang; Zhang, Kang; Zhang, Guiyuan
Idioma: Inglés
Editor: MDPI
Año: 2020
Acceso abierto
Artículo científico
2020
Em-sign: un método de reconocimiento sin contacto basado en radar doppler de 24 GHz para señales y diálogos continuos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Reconocimiento continuo del lenguaje de señas
Sensores de radar Doppler
Descomposición empírica de modo complejo
Firmas de micro-Doppler
Red Yolov3-tiny
ResNet
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 26
Citaciones: Sin citaciones
Estudiamos el reconocimiento continuo del lenguaje de señas utilizando sensores de radar Doppler. Cuatro señas en lenguaje de señas chino y lenguaje de señas americano fueron capturadas y extraídas mediante descomposición empírica de modo complejo (CEMD) para obtener espectrogramas. Se utilizó un proceso de mejora de imagen para realzar las firmas micro-Doppler de las señas. Para clasificar las diferentes señas, utilizamos una red Yolov3-tiny mejorada reemplazando el marco con ResNet y ajustando previamente la red. Este método puede eliminar las epéntesis del proceso de entrenamiento. Los resultados experimentales revelaron que el método propuesto puede superar los métodos de reconocimiento de lenguaje de señas de vanguardia en el reconocimiento continuo de señas con una precisión de 0.924, una recuperación de 0.993, una medida F1 de 0.957 y una precisión promedio media (mAP) de 0.99. Además, se realizó y evaluó el reconocimiento de diálogo en tres escenarios de conversación diaria. La tasa de error promedio de palabras (WER) fue de 0.235, un 10% más bajo que en otros trabajos. Nuestro trabajo proporciona una forma alternativa de reconocimiento de lenguaje de señas y un nuevo enfoque para simplificar el proceso de entrenamiento y lograr un mejor efecto de reconocimiento continuo del lenguaje de señas.
Descripción
Estudiamos el reconocimiento continuo del lenguaje de señas utilizando sensores de radar Doppler. Cuatro señas en lenguaje de señas chino y lenguaje de señas americano fueron capturadas y extraídas mediante descomposición empírica de modo complejo (CEMD) para obtener espectrogramas. Se utilizó un proceso de mejora de imagen para realzar las firmas micro-Doppler de las señas. Para clasificar las diferentes señas, utilizamos una red Yolov3-tiny mejorada reemplazando el marco con ResNet y ajustando previamente la red. Este método puede eliminar las epéntesis del proceso de entrenamiento. Los resultados experimentales revelaron que el método propuesto puede superar los métodos de reconocimiento de lenguaje de señas de vanguardia en el reconocimiento continuo de señas con una precisión de 0.924, una recuperación de 0.993, una medida F1 de 0.957 y una precisión promedio media (mAP) de 0.99. Además, se realizó y evaluó el reconocimiento de diálogo en tres escenarios de conversación diaria. La tasa de error promedio de palabras (WER) fue de 0.235, un 10% más bajo que en otros trabajos. Nuestro trabajo proporciona una forma alternativa de reconocimiento de lenguaje de señas y un nuevo enfoque para simplificar el proceso de entrenamiento y lograr un mejor efecto de reconocimiento continuo del lenguaje de señas.