Uno de los aspectos más cruciales de los modelos faciales en 3D es la reconstrucción facial. Sin embargo, no está claro si la distorsión de la forma del rostro es causada por la identidad o la expresión cuando el modelo morfológico en 3D (3DMM) se ajusta a rostros predominantemente expresivos. Para superar el problema, introducimos redes neuronales para reconstruir rostros estables y precisos en tiempo real. La red de reconstrucción extrae los parámetros 3DMM de secuencias de video para representar rostros en 3D en el tiempo. Mientras tanto, nuestras redes de desplazamiento aprenden los cambios en los puntos de referencia faciales. En particular, las redes aprenden cambios causados por la identidad facial, la expresión facial y las señales temporales, respectivamente. La red de alineación facial propuesta exhibe un rendimiento confiable y preciso en la reconstrucción de rostros estáticos y dinámicos aprovechando estas redes de desplazamiento. El conjunto de datos 300 Videos en la Naturaleza (300VW) se utiliza para evaluaciones cualitativas y cuantitativas para confirmar la efectividad de nuestro método. Los resultados demuestran las considerables ventajas de nuestro método en la reconstrucción de rostros en 3D a partir de secuencias de video.