Dispositivo portátil de ayuda para la percepción del entorno y la navegación de personas con discapacidad visual
Autores: Bai, Jinqiang; Liu, Zhaoxiang; Lin, Yimin; Li, Ye; Lian, Shiguo; Liu, Dijun
Idioma: Inglés
Editor: MDPI
Año: 2019
Acceso abierto
Artículo científico
2019
Dispositivo portátil de ayuda para la percepción del entorno y la navegación de personas con discapacidad visual
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Dispositivos de asistencia
Personas con discapacidad visual
Navegación
Reconocimiento de objetos
Dispositivo portátil
Sistema basado en CNN
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 49
Citaciones: Sin citaciones
Los dispositivos de asistencia para personas con discapacidad visual (VIP) que apoyan los viajes diarios y mejoran la inclusión social están desarrollándose rápidamente. La mayoría de ellos intentan resolver el problema de la navegación o la evasión de obstáculos, y otros trabajos se centran en ayudar a las personas VIP a reconocer los objetos que les rodean. Sin embargo, muy pocos combinan ambas capacidades (es decir, navegación y reconocimiento). Con el objetivo de satisfacer las necesidades mencionadas, este artículo presenta un dispositivo de asistencia portátil que permite a las personas VIP (i) navegar de forma segura y rápida en entornos desconocidos, y (ii) reconocer los objetos tanto en entornos interiores como exteriores. El dispositivo consta de una cámara de color rojo, verde, azul y profundidad (RGB-D) y una Unidad de Medición Inercial (IMU), que se montan en un par de gafas, y un teléfono inteligente. El dispositivo aprovecha la continuidad de la altura del suelo entre los fotogramas de imagen adyacentes para segmentar el suelo de manera precisa y rápida, y luego buscar la dirección de movimiento según el suelo. Se ha desarrollado e implementado un sistema de reconocimiento de objetos basado en una red neuronal convolucional (CNN) ligero en el teléfono inteligente para aumentar la capacidad de percepción de las personas VIP y promover el sistema de navegación. Puede proporcionar información semántica sobre el entorno, como categorías, ubicaciones y orientaciones de objetos. La interacción humano-máquina se realiza a través de un módulo de audio (un sonido de pitido para alertar sobre obstáculos, reconocimiento de voz para entender los comandos del usuario y síntesis del habla para expresar información semántica sobre el entorno). Evaluamos el rendimiento del sistema propuesto a través de numerosos experimentos realizados en escenarios tanto interiores como exteriores, demostrando la eficiencia y seguridad del sistema de asistencia propuesto.
Descripción
Los dispositivos de asistencia para personas con discapacidad visual (VIP) que apoyan los viajes diarios y mejoran la inclusión social están desarrollándose rápidamente. La mayoría de ellos intentan resolver el problema de la navegación o la evasión de obstáculos, y otros trabajos se centran en ayudar a las personas VIP a reconocer los objetos que les rodean. Sin embargo, muy pocos combinan ambas capacidades (es decir, navegación y reconocimiento). Con el objetivo de satisfacer las necesidades mencionadas, este artículo presenta un dispositivo de asistencia portátil que permite a las personas VIP (i) navegar de forma segura y rápida en entornos desconocidos, y (ii) reconocer los objetos tanto en entornos interiores como exteriores. El dispositivo consta de una cámara de color rojo, verde, azul y profundidad (RGB-D) y una Unidad de Medición Inercial (IMU), que se montan en un par de gafas, y un teléfono inteligente. El dispositivo aprovecha la continuidad de la altura del suelo entre los fotogramas de imagen adyacentes para segmentar el suelo de manera precisa y rápida, y luego buscar la dirección de movimiento según el suelo. Se ha desarrollado e implementado un sistema de reconocimiento de objetos basado en una red neuronal convolucional (CNN) ligero en el teléfono inteligente para aumentar la capacidad de percepción de las personas VIP y promover el sistema de navegación. Puede proporcionar información semántica sobre el entorno, como categorías, ubicaciones y orientaciones de objetos. La interacción humano-máquina se realiza a través de un módulo de audio (un sonido de pitido para alertar sobre obstáculos, reconocimiento de voz para entender los comandos del usuario y síntesis del habla para expresar información semántica sobre el entorno). Evaluamos el rendimiento del sistema propuesto a través de numerosos experimentos realizados en escenarios tanto interiores como exteriores, demostrando la eficiencia y seguridad del sistema de asistencia propuesto.