Un algoritmo de detección de objetos 3D de fusión multimodal adaptativa para sistemas no tripulados en condiciones climáticas adversas
Autores: Wang, Shenyu; Xie, Xinlun; Li, Mingjiang; Wang, Maofei; Yang, Jinming; Li, Zeming; Zhou, Xuehua; Zhou, Zhiguo
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un algoritmo de detección de objetos 3D de fusión multimodal adaptativa para sistemas no tripulados en condiciones climáticas adversas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Sistemas no tripulados
Condiciones meteorológicas
Métodos de percepción ambiental
Cámaras
Sensores LiDAR
Condiciones climáticas adversas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 53
Citaciones: Sin citaciones
Los sistemas no tripulados enfrentan condiciones climáticas desafiantes durante las tareas de eliminación de obstáculos. Investigar métodos estables, en tiempo real y precisos de percepción ambiental bajo tales condiciones es crucial. Las cámaras y los sensores LiDAR proporcionan datos diferentes y complementarios. Sin embargo, la integración de datos dispares presenta desafíos como discrepancias de características y la fusión de información escasa y densa, lo que puede degradar el rendimiento algorítmico. Las condiciones climáticas adversas, como la lluvia y la nieve, introducen ruido que reduce aún más la precisión de la percepción. Para abordar estos problemas, proponemos un novedoso algoritmo de detección de objetos 3D de fusión de atención multi-nivel adaptativa al clima en vista aérea de pájaro (BEV-MCAF). Este algoritmo emplea una red de extracción de características mejorada para obtener características más efectivas. Se ha construido un módulo de fusión de características multimodal con generación de características de imagen BEV y un mecanismo de co-atención para mejores efectos de fusión. Se propone una red adversarial de dominio conjunto multimodal a escala múltiple (M2-DANet) para mejorar la adaptabilidad a condiciones climáticas adversas. La eficacia de BEV-MCAF ha sido validada en los conjuntos de datos nuScenes e Ithaca365, confirmando su robustez y buena capacidad de generalización en una variedad de malas condiciones climáticas. Los hallazgos indican que nuestro algoritmo propuesto funciona mejor que el estándar, mostrando una mayor adaptabilidad a condiciones climáticas adversas y mejorando la robustez de los VANT, garantizando una percepción confiable en condiciones desafiantes.
Descripción
Los sistemas no tripulados enfrentan condiciones climáticas desafiantes durante las tareas de eliminación de obstáculos. Investigar métodos estables, en tiempo real y precisos de percepción ambiental bajo tales condiciones es crucial. Las cámaras y los sensores LiDAR proporcionan datos diferentes y complementarios. Sin embargo, la integración de datos dispares presenta desafíos como discrepancias de características y la fusión de información escasa y densa, lo que puede degradar el rendimiento algorítmico. Las condiciones climáticas adversas, como la lluvia y la nieve, introducen ruido que reduce aún más la precisión de la percepción. Para abordar estos problemas, proponemos un novedoso algoritmo de detección de objetos 3D de fusión de atención multi-nivel adaptativa al clima en vista aérea de pájaro (BEV-MCAF). Este algoritmo emplea una red de extracción de características mejorada para obtener características más efectivas. Se ha construido un módulo de fusión de características multimodal con generación de características de imagen BEV y un mecanismo de co-atención para mejores efectos de fusión. Se propone una red adversarial de dominio conjunto multimodal a escala múltiple (M2-DANet) para mejorar la adaptabilidad a condiciones climáticas adversas. La eficacia de BEV-MCAF ha sido validada en los conjuntos de datos nuScenes e Ithaca365, confirmando su robustez y buena capacidad de generalización en una variedad de malas condiciones climáticas. Los hallazgos indican que nuestro algoritmo propuesto funciona mejor que el estándar, mostrando una mayor adaptabilidad a condiciones climáticas adversas y mejorando la robustez de los VANT, garantizando una percepción confiable en condiciones desafiantes.