La normalización como una capa dentro de las redes neuronales ha demostrado a lo largo de los años su efectividad en la optimización de redes neuronales en una amplia gama de tareas diferentes, siendo uno de los enfoques más exitosos el de la normalización por lotes. El consenso es que mejores estimaciones de las estadísticas de normalización de BatchNorm (y 2) en cada mini-lote resultan en una mejor optimización. En este trabajo, desafiamos esta creencia y experimentamos con una nueva variante de BatchNorm conocida como GhostNorm que, a pesar de normalizar independientemente los lotes dentro de los mini-lotes, es decir, y 2 se calculan y aplican de manera independiente a grupos de muestras en cada mini-lote, supera consistentemente a BatchNorm. A continuación, introducimos la normalización secuencial (SeqNorm), la aplicación secuencial del tipo de normalización anterior a través de dos dimensiones de la entrada, y encontramos que los modelos entrenados con SeqNorm superan consistentemente a los modelos entrenados con BatchNorm o GhostNorm en múltiples conjuntos de datos de clasificación de imágenes. Nuestras contribuciones son las siguientes: (i) descubrimos una fuente de regularización que es única para GhostNorm, y no simplemente una extensión de BatchNorm, e ilustramos sus efectos en el paisaje de pérdida, (ii) introducimos la normalización secuencial (SeqNorm), una nueva capa de normalización que mejora los efectos de regularización de GhostNorm, (iii) comparamos tanto GhostNorm como SeqNorm contra BatchNorm solo, así como con otras técnicas de regularización, (iv) para los modelos de GhostNorm y SeqNorm, entrenamos modelos cuyo rendimiento es consistentemente mejor que nuestras líneas base, incluyendo aquellos con BatchNorm, en los conjuntos de datos estándar de clasificación de imágenes de CIFAR-10, CIFAR-100 e ImageNet ((+0.2%, +0.7%, +0.4%), y (+0.3%, +1.7%, +1.1%) para GhostNorm y SeqNorm, respectivamente).