Detección de diferencia en nivel basada en parches con máscara de suelo segmentada
Autores: Nonaka, Yusuke; Uchiyama, Hideaki; Saito, Hideo; Yachida, Shoji; Iwamoto, Kota
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Detección de diferencia en nivel basada en parches con máscara de suelo segmentada
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aplicaciones
Escenas al aire libre
Diferencias de nivel
Imágenes RGB-D
Modelo de aprendizaje profundo
Evaluación de rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 30
Citaciones: Sin citaciones
La detección de diferencias de nivel en escenas al aire libre tiene varias posibles aplicaciones, como la asistencia para caminar de personas ciegas, la asistencia para caminar de robots y el mapeo de los peligros de las instalaciones de fábrica. Es difícil detectar todas las diferencias de nivel al aire libre, como imágenes RGB o RGB-D, no solo incluyendo bordillos de carretera, que suelen ser el objetivo de detección en la conducción automatizada, sino también diferencias de nivel en las instalaciones de fábrica y aceras, porque el patrón de diferencias de nivel al aire libre es abundante y complejo. Este documento propone un método novedoso para detectar diferencias de nivel a partir de imágenes RGB-D con máscaras de suelo segmentadas. Primero, se extrajeron parches de imagen de diferencias de nivel de imágenes al aire libre para crear el conjunto de datos. El cambio en el vector normal de la parte del contorno en el plano detectado se utiliza para generar parches de imagen de la diferencia de nivel, pero este método depende fuertemente de la precisión de la detección planar y solo detecta algunas diferencias de nivel. Luego, creamos el conjunto de datos, que consta de parches de imagen e incluye las diferencias extraídas de nivel. El conjunto de datos se utiliza para entrenar un modelo de aprendizaje profundo para detectar diferencias de nivel en imágenes al aire libre sin limitaciones. Además, dado que el propósito de este documento es detectar diferencias de nivel en áreas de paseo al aire libre, las regiones en la imagen que no son las áreas objetivo fueron excluidas por la máscara de suelo segmentada. Para la evaluación del rendimiento, implementamos nuestro algoritmo utilizando un teléfono inteligente moderno con una cámara de profundidad de alto rendimiento. Para evaluar la efectividad del método propuesto, los resultados de varias entradas, como RGB, profundidad, escala de grises, normales y combinaciones de ellos, se evaluaron cualitativa y cuantitativamente, y se utilizó Blender para generar imágenes de prueba sintéticas para una evaluación cuantitativa de la diferencia de nivel. Confirmamos que el método sugerido detecta con éxito varios tipos de diferencias de nivel en imágenes al aire libre, incluso en escenas complejas.
Descripción
La detección de diferencias de nivel en escenas al aire libre tiene varias posibles aplicaciones, como la asistencia para caminar de personas ciegas, la asistencia para caminar de robots y el mapeo de los peligros de las instalaciones de fábrica. Es difícil detectar todas las diferencias de nivel al aire libre, como imágenes RGB o RGB-D, no solo incluyendo bordillos de carretera, que suelen ser el objetivo de detección en la conducción automatizada, sino también diferencias de nivel en las instalaciones de fábrica y aceras, porque el patrón de diferencias de nivel al aire libre es abundante y complejo. Este documento propone un método novedoso para detectar diferencias de nivel a partir de imágenes RGB-D con máscaras de suelo segmentadas. Primero, se extrajeron parches de imagen de diferencias de nivel de imágenes al aire libre para crear el conjunto de datos. El cambio en el vector normal de la parte del contorno en el plano detectado se utiliza para generar parches de imagen de la diferencia de nivel, pero este método depende fuertemente de la precisión de la detección planar y solo detecta algunas diferencias de nivel. Luego, creamos el conjunto de datos, que consta de parches de imagen e incluye las diferencias extraídas de nivel. El conjunto de datos se utiliza para entrenar un modelo de aprendizaje profundo para detectar diferencias de nivel en imágenes al aire libre sin limitaciones. Además, dado que el propósito de este documento es detectar diferencias de nivel en áreas de paseo al aire libre, las regiones en la imagen que no son las áreas objetivo fueron excluidas por la máscara de suelo segmentada. Para la evaluación del rendimiento, implementamos nuestro algoritmo utilizando un teléfono inteligente moderno con una cámara de profundidad de alto rendimiento. Para evaluar la efectividad del método propuesto, los resultados de varias entradas, como RGB, profundidad, escala de grises, normales y combinaciones de ellos, se evaluaron cualitativa y cuantitativamente, y se utilizó Blender para generar imágenes de prueba sintéticas para una evaluación cuantitativa de la diferencia de nivel. Confirmamos que el método sugerido detecta con éxito varios tipos de diferencias de nivel en imágenes al aire libre, incluso en escenas complejas.