El color es una característica importante de los vehículos, y juega un papel clave en la gestión del tráfico inteligente y la investigación criminal. Los algoritmos existentes para el reconocimiento del color de los vehículos suelen entrenarse con datos en condiciones climáticas favorables y tienen poca robustez para tareas visuales exteriores. El reconocimiento fino del color de los vehículos bajo condiciones de lluvia sigue siendo un problema desafiante. En este documento se propone un algoritmo para el despeje conjunto y reconocimiento del color de los vehículos, donde tres capas de se incrustan en para obtener información de fusión semántica conjunta. Más precisamente, se utiliza la subred para el despeje, y los mapas de características de la imagen limpia recuperada y los mapas de características extraídos de la imagen de entrada se concatenan en el módulo Feature Pyramid Net () para lograr un aprendizaje semántico conjunto. Los mapas de características conjuntas se alimentan luego en las subredes de clase y caja para clasificar y localizar objetos. El conjunto de datos se utiliza para entrenar el para el reconocimiento del color de los vehículos bajo condiciones de lluvia, y se realizan experimentos extensos. Dado que los módulos de despeje y detección comparten las capas de extracción de características, nuestro algoritmo mantiene el tiempo de prueba de mientras mejora su robustez. Probando en conjuntos de datos reales autoconstruidos y públicos, la precisión media promedio () del reconocimiento del color de los vehículos alcanza , superando tanto a los algoritmos de vanguardia para el reconocimiento del color de los vehículos como a los algoritmos populares de detección de objetivos.