Hoy en día, la técnica de transfer learning se puede aplicar con éxito en el campo del deep learning a través de técnicas que ajustan finamente el punto de partida de la CNN para que pueda aprender sobre un conjunto de datos enorme como ImageNet y continuar aprendiendo en un conjunto de datos fijo para lograr un mejor rendimiento. En este documento, diseñamos una metodología de transfer learning que combina las características aprendidas de diferentes profesores en una red de estudiante en un modelo de extremo a extremo, mejorando el rendimiento de la red de estudiante en tareas de clasificación en diferentes conjuntos de datos. Además de esto, intentamos responder a las siguientes preguntas que están directamente relacionadas con el problema de transfer learning abordado aquí. ¿Es posible mejorar el rendimiento de una pequeña red neuronal utilizando el conocimiento adquirido de una red neuronal más potente? ¿Puede una red neuronal profunda superar al profesor utilizando transfer learning? Los resultados experimentales sugieren que las redes neuronales pueden transferir su aprendizaje a las redes de estudiantes utilizando nuestra arquitectura propuesta, diseñada para presentar un nuevo enfoque interesante para las técnicas de transfer learning. Finalmente, proporcionamos detalles del código y de la configuración experimental.