logo móvil
Contáctanos

Em-sign: un método de reconocimiento sin contacto basado en radar doppler de 24 GHz para señales y diálogos continuos

Autores: Ye, Linting; Lan, Shengchang; Zhang, Kang; Zhang, Guiyuan

Idioma: Inglés

Editor: MDPI

Año: 2020

Descargar PDF

Acceso abierto

Artículo científico
2020

Em-sign: un método de reconocimiento sin contacto basado en radar doppler de 24 GHz para señales y diálogos continuos


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Reconocimiento continuo del lenguaje de señas
Sensores de radar Doppler
Descomposición empírica de modo complejo
Firmas de micro-Doppler
Red Yolov3-tiny
ResNet

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 26

Citaciones: Sin citaciones


Descripción
Estudiamos el reconocimiento continuo del lenguaje de señas utilizando sensores de radar Doppler. Cuatro señas en lenguaje de señas chino y lenguaje de señas americano fueron capturadas y extraídas mediante descomposición empírica de modo complejo (CEMD) para obtener espectrogramas. Se utilizó un proceso de mejora de imagen para realzar las firmas micro-Doppler de las señas. Para clasificar las diferentes señas, utilizamos una red Yolov3-tiny mejorada reemplazando el marco con ResNet y ajustando previamente la red. Este método puede eliminar las epéntesis del proceso de entrenamiento. Los resultados experimentales revelaron que el método propuesto puede superar los métodos de reconocimiento de lenguaje de señas de vanguardia en el reconocimiento continuo de señas con una precisión de 0.924, una recuperación de 0.993, una medida F1 de 0.957 y una precisión promedio media (mAP) de 0.99. Además, se realizó y evaluó el reconocimiento de diálogo en tres escenarios de conversación diaria. La tasa de error promedio de palabras (WER) fue de 0.235, un 10% más bajo que en otros trabajos. Nuestro trabajo proporciona una forma alternativa de reconocimiento de lenguaje de señas y un nuevo enfoque para simplificar el proceso de entrenamiento y lograr un mejor efecto de reconocimiento continuo del lenguaje de señas.

Otros recursos que podrían interesarte

Temas Virtualpro