MultiNet-GS: modelo de percepción de carreteras estructurado basado en red neuronal convolucional de múltiples tareas
Autores: Li, Ang; Zhang, Zhaoyang; Sun, Shijie; Feng, Mingtao; Wu, Chengzhong
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
MultiNet-GS: modelo de percepción de carreteras estructurado basado en red neuronal convolucional de múltiples tareas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Propuesto
Multinet-gs
Red neuronal convolucional
Modelo de detección de objetos
Yolv8
Detección de carriles.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
Para abordar el problema de la percepción ambiental en la conducción autónoma en carreteras estructuradas, proponemos MultiNet-GS, un modelo de red neuronal convolucional basado en una arquitectura codificador-decodificador que aborda múltiples tareas simultáneamente. Utilizamos la estructura principal del último modelo de detección de objetos, el modelo YOLOv8, como la estructura codificadora de nuestro modelo. Introducimos un nuevo mecanismo de atención dinámica dispersa, BiFormer, en la parte de extracción de características del modelo para lograr una asignación de recursos computacionales más flexible, lo que puede mejorar significativamente la eficiencia computacional y ocupar una pequeña sobrecarga computacional. Introducimos una convolución ligera, GSConv, en la parte de fusión de características de la red, que se utiliza para construir la parte del cuello en una nueva estructura de cuello delgado para reducir la complejidad computacional y el tiempo de inferencia del detector. También agregamos un detector adicional para objetos pequeños a la estructura del detector de tres cabezas convencional. Finalmente, introducimos un método de detección de carriles basado en líneas guía en la parte de detección de carriles, que puede agregar la información de características del carril en múltiples puntos clave, obtener la respuesta del mapa de calor del carril a través de la convolución condicional y luego describir la línea del carril a través del decodificador adaptativo, lo que efectivamente compensa las deficiencias del método tradicional de detección de carriles. Nuestros experimentos comparativos en el conjunto de datos BDD100K en la plataforma integrada NVIDIA Jetson TX2 muestran que en comparación con SOTA(YOLOPv2), el mAP@0.5 del modelo en la detección de objetos de tráfico alcanza el 82.1%, lo que aumenta en un 2.7%. La precisión del modelo en la detección de áreas transitables alcanza el 93.2%, lo que aumenta en un 0.5%. La precisión del modelo en la detección de carriles alcanza el 85.7%, lo que aumenta en un 4.3%. Los Parámetros y FLOPs del modelo alcanzan 47.5 M y 117.5, que se reducen en 6.6 M y 8.3, respectivamente. El modelo logra 72 FPS, lo que aumenta en 5. Nuestro modelo MultiNet-GS tiene la mayor precisión de detección entre los modelos principales actuales mientras mantiene una buena velocidad de detección y tiene cierta superioridad.
Descripción
Para abordar el problema de la percepción ambiental en la conducción autónoma en carreteras estructuradas, proponemos MultiNet-GS, un modelo de red neuronal convolucional basado en una arquitectura codificador-decodificador que aborda múltiples tareas simultáneamente. Utilizamos la estructura principal del último modelo de detección de objetos, el modelo YOLOv8, como la estructura codificadora de nuestro modelo. Introducimos un nuevo mecanismo de atención dinámica dispersa, BiFormer, en la parte de extracción de características del modelo para lograr una asignación de recursos computacionales más flexible, lo que puede mejorar significativamente la eficiencia computacional y ocupar una pequeña sobrecarga computacional. Introducimos una convolución ligera, GSConv, en la parte de fusión de características de la red, que se utiliza para construir la parte del cuello en una nueva estructura de cuello delgado para reducir la complejidad computacional y el tiempo de inferencia del detector. También agregamos un detector adicional para objetos pequeños a la estructura del detector de tres cabezas convencional. Finalmente, introducimos un método de detección de carriles basado en líneas guía en la parte de detección de carriles, que puede agregar la información de características del carril en múltiples puntos clave, obtener la respuesta del mapa de calor del carril a través de la convolución condicional y luego describir la línea del carril a través del decodificador adaptativo, lo que efectivamente compensa las deficiencias del método tradicional de detección de carriles. Nuestros experimentos comparativos en el conjunto de datos BDD100K en la plataforma integrada NVIDIA Jetson TX2 muestran que en comparación con SOTA(YOLOPv2), el mAP@0.5 del modelo en la detección de objetos de tráfico alcanza el 82.1%, lo que aumenta en un 2.7%. La precisión del modelo en la detección de áreas transitables alcanza el 93.2%, lo que aumenta en un 0.5%. La precisión del modelo en la detección de carriles alcanza el 85.7%, lo que aumenta en un 4.3%. Los Parámetros y FLOPs del modelo alcanzan 47.5 M y 117.5, que se reducen en 6.6 M y 8.3, respectivamente. El modelo logra 72 FPS, lo que aumenta en 5. Nuestro modelo MultiNet-GS tiene la mayor precisión de detección entre los modelos principales actuales mientras mantiene una buena velocidad de detección y tiene cierta superioridad.