La detección de objetos es una tarea importante de percepción en la conducción autónoma y los sistemas avanzados de asistencia al conductor. La cámara visible se utiliza ampliamente para la percepción, pero su rendimiento está limitado por la iluminación y las variaciones ambientales. Para una percepción basada en visión robusta, proponemos un marco de aprendizaje profundo para una fusión efectiva de sensores de la cámara visible con sensores complementarios. Se propone una técnica de fusión de sensores a nivel de características, utilizando conexiones de salto, para la fusión de la cámara visible con el radar de ondas milimétricas y la cámara térmica. Las dos redes se llaman RV-Net y TV-Net, respectivamente. Estas redes tienen dos ramas de entrada y una rama de salida. Las ramas de entrada contienen ramas separadas para la extracción de características del sensor individual, que luego se fusionan en la rama de percepción de salida utilizando conexiones de salto. El RV-Net y el TV-Net realizan simultáneamente la extracción de características específicas del sensor, la fusión a nivel de características y la detección de objetos dentro de un marco de trabajo de extremo a extremo. Las redes propuestas se validan con algoritmos de referencia en conjuntos de datos públicos. Los resultados obtenidos muestran que la fusión de sensores a nivel de características es mejor que los marcos de fusión temprana y tardía de referencia.