La predicción de series temporales ha sido un área desafiante en el campo de la Inteligencia Artificial. Se han intentado diversas aproximaciones como redes neuronales lineales, redes neuronales lineales recurrentes, Redes Neuronales Convolucionales y, recientemente, transformers para el dominio de la predicción de series temporales. Aunque las arquitecturas basadas en transformers han sido sobresalientes en el dominio del Procesamiento del Lenguaje Natural, especialmente en modelado de lenguaje autoregresivo, los intentos iniciales de utilizar transformers en el ámbito de las series temporales han tenido un éxito mixto. Un trabajo importante reciente indica que las redes neuronales lineales simples superan a los diseños basados en transformers. Investigamos esta paradoja en detalle comparando los diseños basados en redes neuronales lineales y transformers, proporcionando información sobre por qué un enfoque en particular puede ser mejor para un tipo específico de problema. También mejoramos la arquitectura basada en redes neuronales lineales simples propuesta recientemente mediante el uso de tuberías duales con normalización por lotes y normalización de instancias reversible. Nuestra arquitectura mejorada supera a todas las arquitecturas existentes para la predicción de series temporales en la mayoría de los benchmarks populares.