Un diagnóstico integral basado en imágenes médicas suele realizarse a través de varias modalidades de imagen antes de tomar una decisión final; por lo tanto, el diseño de un modelo de aprendizaje profundo que pueda utilizar cualquier modalidad de imagen médica para diagnosticar una enfermedad en particular es de gran interés. Los métodos disponibles son multi-escalados, con muchos cuellos de botella computacionales en el medio. Este artículo presenta un método mejorado de clasificación de imágenes multimodales de extremo a extremo utilizando modelos de aprendizaje profundo. Presentamos los principales métodos de investigación desarrollados a lo largo de los años para mejorar los modelos entrenados desde cero y los enfoques de aprendizaje por transferencia. Mostramos que cuando un modelo está completamente entrenado, puede discriminar implícitamente primero la modalidad de imagen y luego diagnosticar la enfermedad relevante. Nuestros modelos desarrollados se aplicaron a la clasificación de COVID-19 a partir de las modalidades de imagen de radiografía de tórax, tomografía computarizada y ecografía pulmonar. El modelo que logró la mayor precisión mapea correctamente todas las imágenes de entrada a su respectiva modalidad, luego clasifica la enfermedad logrando en general un 91.07% de precisión.