La evaluación automática de la gravedad y la predicción de la progresión pueden facilitar la admisión, el triaje y la derivación de pacientes con COVID-19. Este estudio tiene como objetivo explorar el uso potencial de las características de las lesiones pulmonares en el manejo de COVID-19, basándose en la suposición de que las características de las lesiones pueden llevar información diagnóstica y pronóstica importante para cuantificar la gravedad de la infección y prever la progresión de la enfermedad. Se propone un nuevo marco llamado LesionEncoder para detectar lesiones en tomografías computarizadas de tórax y codificar características de lesiones para la evaluación automática de la gravedad y la predicción de la progresión. El marco LesionEncoder consiste en un módulo U-Net para detectar lesiones y extraer características de cortes individuales de tomografía computarizada, y un módulo de red neuronal recurrente (RNN) para aprender la relación entre vectores de características y clasificar colectivamente la secuencia de vectores de características. Se utilizaron tomografías computarizadas de tórax de dos cohortes de pacientes con COVID-19 de dos hospitales en China para entrenar y probar el marco propuesto. Al aplicarse a la evaluación de la gravedad, este marco superó a los métodos de referencia, logrando una sensibilidad de 0.818, especificidad de 0.952, precisión de 0.940 y AUC de 0.903. También superó a los otros métodos probados en la predicción de la progresión de la enfermedad con una sensibilidad de 0.667, especificidad de 0.838, precisión de 0.829 y AUC de 0.736. El marco LesionEncoder demuestra un fuerte potencial para la aplicación clínica en el manejo actual de COVID-19, particularmente en la evaluación automática de la gravedad de los pacientes con COVID-19. Este marco también tiene potencial para otros análisis de imágenes médicas centrados en lesiones.