Recientemente, los sistemas avanzados de asistencia al conductor (ADAS) han atraído mucha atención en la detección de peatones al utilizar el espectro múltiple generado por multi-sensores. Sin embargo, es bastante desafiante para los sensores basados en imágenes realizar sus tareas debido a inestabilidades como cambios de luz, sombreado de objetos o condiciones climáticas. Considerando todo lo anterior, basado en la información espectral diferente de las imágenes RGB y térmicas, este estudio propuso un marco de aprendizaje profundo (DL) para mejorar el problema de fuentes de luz confusas y extraer características multimodales altamente diferenciadas a través de la fusión multispectral. Los métodos de detección de peatones, incluyendo una red multispectral de doble flujo (DSMN), se utilizaron para extraer una fusión multispectral y un detector de doble flujo con información basada en Yolo (MFDs-Yolo). Además, un método de ajuste de peso multispectral autoadaptativo mejoró la red consciente de la iluminación (i-IAN) para una estrategia de fusión posterior, haciendo que los diferentes modos sean complementarios. Según los resultados experimentales, se demostró el buen rendimiento de este método de detección en el conjunto de datos público KAIST y en el conjunto de datos de detección de peatones multispectrales FLIR, e incluso tuvo un mejor rendimiento que el método más avanzado en el sistema de evaluación de tasa de error (MR) (IoU@0.75).