Los accidentes debidos a líneas ferroviarias defectuosas y descarrilamientos son desastres comunes que se observan con frecuencia en los países del sudeste asiático. Es imperativo realizar un diagnóstico adecuado sobre la detección de tales fallas para prevenir dichos accidentes. Sin embargo, la detección manual de tales fallas periódicamente puede ser tanto costosa como consumidora de tiempo. En este artículo, hemos propuesto un algoritmo basado en Aprendizaje Profundo (DL) para la detección automática de fallas en vías férreas, al que hemos denominado Red Neuronal Convolucional Autoencoder ResNet Ensamblada (ECARRNet). Comparamos su rendimiento con técnicas de DL existentes en forma de varios modelos de DL pre-entrenados para investigar vías férreas y determinar si están defectuosas o no, considerando fallas comúnmente prevalentes como defectos en rieles y fijaciones. Además, recopilamos manualmente las imágenes de diferentes vías férreas ubicadas en Bangladesh y creamos nuestro conjunto de datos. Tras comparar nuestro modelo propuesto con los modelos existentes, encontramos que nuestra arquitectura propuesta ha producido la mayor precisión entre todas las arquitecturas previamente existentes de última generación, con una precisión del 93.28% en el conjunto de datos completo. Además, dividimos nuestro conjunto de datos en dos partes con dos tipos diferentes de fallas, que son fijaciones y rieles. Ejecutamos los modelos en esos dos conjuntos de datos separados, obteniendo precisión del 98.59% y 92.06% en rieles y fijaciones, respectivamente. Técnicas de explicabilidad del modelo como Grad-CAM y LIME se utilizaron para validar el resultado de los modelos, donde se observó que nuestro modelo propuesto ECARRNet clasificaba y detectaba correctamente las regiones de vías férreas defectuosas de manera efectiva en comparación con los modelos de transferencia de aprendizaje previamente existentes.