Mejorar la calidad de la imagen proporciona mayor interpretabilidad tanto para los seres humanos como para las máquinas. Las técnicas tradicionales de mejora de imágenes funcionan bien para usos específicos, pero tienen dificultades con imágenes tomadas en condiciones extremas, como distorsiones variadas, ruido y deformaciones de contraste. Los métodos basados en el aprendizaje profundo producen una calidad superior en la mejora de imágenes ya que son capaces de aprender las características espaciales dentro de las imágenes. Sin embargo, los modelos más profundos aumentan los costos computacionales y requieren módulos adicionales para problemas particulares. En este documento, proponemos modelos de mejora de imágenes auto-supervisados y supervisados basados en el método de mejora de imágenes con desplazamiento temporal (TS-IEM). Incorporamos el TS-IEM en un modelo de CNN de cuatro capas y reconstruimos las imágenes de referencia para el modelo auto-supervisado. Las imágenes reconstruidas también se utilizan en el modelo supervisado como una capa adicional para mejorar el proceso de aprendizaje y obtener imágenes de mejor calidad. Se realizaron experimentos exhaustivos y análisis cualitativos y cuantitativos utilizando tres conjuntos de datos de referencia de diferentes dominios de aplicación. Los resultados mostraron que el modelo auto-supervisado podría proporcionar resultados razonables para los conjuntos de datos sin imágenes de referencia. Por otro lado, el modelo supervisado superó a los métodos de vanguardia en el análisis cuantitativo al producir imágenes bien mejoradas para diferentes tareas.