La vigilancia del tráfico visual utilizando técnicas de visión por computadora puede ser no invasiva, automatizada y rentable. Los sistemas de vigilancia del tráfico con la capacidad de detectar, contar y clasificar vehículos pueden emplearse para recopilar estadísticas de tráfico y lograr un mejor control del tráfico en sistemas de transporte inteligentes. Esto funciona bien durante el día cuando los usuarios de la carretera son claramente visibles para la cámara, pero a menudo tiene dificultades cuando la visibilidad de la escena se ve afectada por una iluminación insuficiente o malas condiciones climáticas como lluvia, nieve, neblina y niebla. Por lo tanto, en este documento, diseñamos una red neuronal convolucional (RCNN) de región basada en regiones más rápidas de entrada dual para aprovechar al máximo las ventajas complementarias de las imágenes en color y térmicas para detectar objetos de tráfico en mal tiempo. A diferencia del detector anterior, utilizamos una fusión a mitad de camino para fusionar imágenes en color y térmicas para la detección de objetos de tráfico. Además, adoptamos el método de agrupación de múltiples capas para adaptar las características de las diferencias de tamaño entre los objetos de los objetivos de tráfico para identificar con precisión los objetivos de diferentes tamaños. Los resultados experimentales muestran que el método actual mejora la precisión de reconocimiento de objetivos en un 7.15% en condiciones climáticas normales y un 14.2% en condiciones climáticas adversas. Esto muestra un potencial prometedor para la implementación en aplicaciones del mundo real.