Un algoritmo de detección de objetos 3D mediante fusión de LiDAR y cámara
Autores: Liu, Leyuan; He, Jian; Ren, Keyan; Xiao, Zhonghua; Hou, Yibin
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Un algoritmo de detección de objetos 3D mediante fusión de LiDAR y cámara
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Fusión de lidar y cámara
Red neuronal
Detección de objetos en 3D
Pointnet++
Conjunto de datos kitti
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
La detección de objetos 3D con fusión de LiDAR y cámara siempre ha sido un desafío para la conducción autónoma. Este trabajo propone una red neuronal profunda (denominada FuDNN) para la detección de objetos 3D mediante fusión de LiDAR y cámara. En primer lugar, se diseña un backbone 2D para extraer características de las imágenes de la cámara. En segundo lugar, se diseña una subred de fusión basada en atención para fusionar las características extraídas por el backbone 2D y las características extraídas de nubes de puntos 3D de LiDAR mediante PointNet++. Además, el FuDNN, que utiliza el RPN y el trabajo de refinamiento de PointRCNN para obtener predicciones de cajas 3D, fue probado en el conjunto de datos público KITTI. Los experimentos en el conjunto de validación de KITTI muestran que el FuDNN propuesto logra valores de AP de 92.48, 82.90 y 80.51 en niveles de dificultad fácil, moderado y difícil para la detección de automóviles. El FuDNN propuesto mejora el rendimiento de la detección de objetos 3D mediante fusión de LiDAR y cámara en la categoría de automóviles del conjunto de datos público KITTI.
Descripción
La detección de objetos 3D con fusión de LiDAR y cámara siempre ha sido un desafío para la conducción autónoma. Este trabajo propone una red neuronal profunda (denominada FuDNN) para la detección de objetos 3D mediante fusión de LiDAR y cámara. En primer lugar, se diseña un backbone 2D para extraer características de las imágenes de la cámara. En segundo lugar, se diseña una subred de fusión basada en atención para fusionar las características extraídas por el backbone 2D y las características extraídas de nubes de puntos 3D de LiDAR mediante PointNet++. Además, el FuDNN, que utiliza el RPN y el trabajo de refinamiento de PointRCNN para obtener predicciones de cajas 3D, fue probado en el conjunto de datos público KITTI. Los experimentos en el conjunto de validación de KITTI muestran que el FuDNN propuesto logra valores de AP de 92.48, 82.90 y 80.51 en niveles de dificultad fácil, moderado y difícil para la detección de automóviles. El FuDNN propuesto mejora el rendimiento de la detección de objetos 3D mediante fusión de LiDAR y cámara en la categoría de automóviles del conjunto de datos público KITTI.