Proponemos un nuevo marco de reconocimiento de escenas de extremo a extremo, llamado modelo de Red de Atención Memorizada Recurrente (RMAN), que realiza la clasificación de escenas basada en objetos ubicando y memorizando recurrentemente objetos en la imagen. Basándonos en el marco propuesto, introducimos un mecanismo multi-tarea que atiende de manera contigua a los diferentes objetos esenciales en una imagen de escena y realiza recurrentemente la fusión de memoria de las características del objeto enfocado por un modelo de atención para mejorar la precisión de reconocimiento de escenas. Los resultados experimentales muestran que el modelo RMAN ha logrado un mejor rendimiento de clasificación en el conjunto de datos construido y en dos conjuntos de datos de escenas públicas, superando los enfoques de reconocimiento de escenas de imagen de vanguardia.