Aprender de manera efectiva el cambio de apariencia de un objetivo es el punto clave de un rastreador en línea. Cuando ocurren ocultaciones y desalineaciones, los resultados del seguimiento suelen contener una gran cantidad de información de fondo, lo cual afecta significativamente la capacidad de un rastreador para distinguir entre objetivos y fondos, lo que finalmente lleva al fracaso del seguimiento. Para resolver este problema, proponemos un modelo de memoria confiable simple y robusto. En particular, se propone una estrategia de evaluación adaptativa (AES) para evaluar la confiabilidad de los resultados del seguimiento. AES combina la confianza de las predicciones del rastreador y la distancia de similitud, que está entre el resultado predicho actual y los resultados de seguimiento existentes. Basándonos en los resultados confiables de la selección de AES, diseñamos un modelo de memoria activo-congelado para almacenar resultados confiables. Las muestras de entrenamiento almacenadas en la memoria activa se utilizan para actualizar el rastreador, mientras que la memoria congelada almacena temporalmente muestras inactivas. El modelo de memoria activo-congelado mantiene la diversidad de muestras al tiempo que satisface la limitación de almacenamiento. Realizamos experimentos exhaustivos en cinco benchmarks: OTB-2013, OTB-2015, UAV123, Temple-color-128 y VOT2016. Los resultados experimentales muestran que nuestro rastreador logra un rendimiento de vanguardia.