Un sistema de guía multisensorial para personas con discapacidad visual utilizando YOLO y ORB-SLAM
Autores: Xie, Zaipeng; Li, Zhaobin; Zhang, Yida; Zhang, Jianan; Liu, Fangming; Chen, Wei
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Un sistema de guía multisensorial para personas con discapacidad visual utilizando YOLO y ORB-SLAM
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Sistemas de orientación
Personas con discapacidad visual
Multi-sensorial
Evitación de obstáculos
Técnicas YOLO
Bastón inteligente
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los sistemas de guía para personas con discapacidad visual se han convertido en un tema popular en los últimos años. Los sistemas de guía existentes en el mercado suelen utilizar herramientas y métodos auxiliares como GPS, UWB o un simple bastón blanco que explota el único sentido táctil o auditivo del usuario. Estas metodologías de guía pueden ser inadecuadas en un entorno interior complejo. Este documento propone un sistema de guía multisensorial para personas con discapacidad visual que puede proporcionar consejos táctiles y auditivos utilizando técnicas de ORB-SLAM y YOLO. Basado en una cámara RGB-D, el sistema local de evitación de obstáculos se realiza a nivel táctil a través de un filtrado de nubes de puntos que puede informar al usuario mediante un motor vibrante. Nuestro método propuesto puede generar un mapa de navegación denso para implementar la evitación global de obstáculos y la planificación de rutas para el usuario a través de la transformación de coordenadas. La detección de objetivos en tiempo real y un sistema de aviso por voz basado en YOLO también se incorporan a nivel auditivo. Implementamos el sistema propuesto como un bastón inteligente. Se realizaron experimentos utilizando cuatro escenarios de prueba diferentes. Los resultados experimentales demuestran que los impedimentos en el camino de caminata pueden ser localizados y clasificados de manera confiable en tiempo real. Nuestro sistema propuesto puede funcionar como un auxiliar capaz para ayudar a las personas con discapacidad visual a navegar de manera segura al integrar YOLO con ORB-SLAM.
Descripción
Los sistemas de guía para personas con discapacidad visual se han convertido en un tema popular en los últimos años. Los sistemas de guía existentes en el mercado suelen utilizar herramientas y métodos auxiliares como GPS, UWB o un simple bastón blanco que explota el único sentido táctil o auditivo del usuario. Estas metodologías de guía pueden ser inadecuadas en un entorno interior complejo. Este documento propone un sistema de guía multisensorial para personas con discapacidad visual que puede proporcionar consejos táctiles y auditivos utilizando técnicas de ORB-SLAM y YOLO. Basado en una cámara RGB-D, el sistema local de evitación de obstáculos se realiza a nivel táctil a través de un filtrado de nubes de puntos que puede informar al usuario mediante un motor vibrante. Nuestro método propuesto puede generar un mapa de navegación denso para implementar la evitación global de obstáculos y la planificación de rutas para el usuario a través de la transformación de coordenadas. La detección de objetivos en tiempo real y un sistema de aviso por voz basado en YOLO también se incorporan a nivel auditivo. Implementamos el sistema propuesto como un bastón inteligente. Se realizaron experimentos utilizando cuatro escenarios de prueba diferentes. Los resultados experimentales demuestran que los impedimentos en el camino de caminata pueden ser localizados y clasificados de manera confiable en tiempo real. Nuestro sistema propuesto puede funcionar como un auxiliar capaz para ayudar a las personas con discapacidad visual a navegar de manera segura al integrar YOLO con ORB-SLAM.