Hoy en día, la detección de peatones se utiliza ampliamente en campos como la asistencia a la conducción y la videovigilancia con el avance de la tecnología. Sin embargo, aunque la investigación de la detección de peatones visibles de un solo modo ha sido muy madura, aún no es suficiente para satisfacer la demanda de detección de peatones en todo momento. Por lo tanto, en este documento se propone un método de detección de peatones multispectral a través de la fusión de imágenes y redes neuronales convolucionales. La distribución de intensidad infrarroja y las características de apariencia visibles se conservan con un modelo de variación total basado en transferencia de estructura local, y la detección de peatones se realiza con los resultados de fusión multispectral y la red de detección de objetivos YOLOv3. El rendimiento de detección del método propuesto se evalúa y se compara con los métodos de detección basados en los otros cuatro algoritmos de fusión a nivel de píxel y dos arquitecturas de red de fusión. Los resultados demuestran que nuestro método tiene un rendimiento de detección superior, que puede detectar objetivos de peatones de manera robusta incluso en caso de condiciones de iluminación adversas y fondos abarrotados.