Las imágenes médicas son valiosas para el diagnóstico clínico y la toma de decisiones. La modalidad de imagen es un paso primario importante, ya que puede ayudar a los clínicos a acceder a la imagen médica requerida en los sistemas de recuperación. Los métodos tradicionales de clasificación de modalidades dependen de la elección de características elaboradas a mano y requieren una clara conciencia del conocimiento previo del dominio. El enfoque de aprendizaje de características puede detectar de manera eficiente las características visuales de diferentes modalidades, pero está limitado por el número de conjuntos de datos de entrenamiento. Para superar la ausencia de datos etiquetados, por un lado, utilizamos redes neuronales convolucionales profundas (VGGNet, ResNet) con diferentes profundidades preentrenadas en ImageNet, fijamos la mayoría de las capas anteriores para reservar características genéricas de imágenes naturales y solo entrenamos su porción de nivel superior en ImageCLEF para aprender características específicas del dominio de figuras médicas. Luego, entrenamos desde cero CNN profundas con solo seis capas de peso para capturar más características específicas del dominio. Por otro lado, empleamos dos métodos de aumento de datos para ayudar a las CNN a dar todo su potencial en la caracterización de características de modalidad de imagen. La predicción final es dada por nuestro sistema de votación basado en las salidas de tres CNN. Después de evaluar nuestro modelo propuesto en la tarea de clasificación de subfiguras en ImageCLEF2015 e ImageCLEF2016, obtenemos nuevos resultados de vanguardia: 76.87% en ImageCLEF2015 y 87.37% en ImageCLEF2016, lo que implica que las CNN, basadas en nuestros métodos propuestos de transferencia de aprendizaje y habilidades de aumento de datos, pueden identificar de manera más eficiente las modalidades de las imágenes médicas.