En los últimos años, se ha publicado una plétora de artículos que presentan enfoques basados en aprendizaje automático para la detección de intrusiones. Sin embargo, la mayoría de esos artículos no comparan sus resultados con una línea base adecuada de un sistema de detección de intrusiones basado en firmas, violando así las buenas prácticas de aprendizaje automático. Para evaluar los pros y los contras del enfoque basado en aprendizaje automático, replicamos un estudio de investigación que utiliza un modelo de red neuronal profunda para la detección de intrusiones. Los resultados de nuestro estudio de investigación replicado exponen varios problemas sistemáticos con los conjuntos de datos y los métodos de evaluación utilizados. En nuestros experimentos, un sistema de detección de intrusiones basado en firmas con una configuración mínima pudo superar al modelo probado incluso bajo pequeños cambios de tráfico. Probar la red neuronal replicada en un nuevo conjunto de datos registrado en el mismo entorno con los mismos ataques utilizando las mismas herramientas mostró que la precisión de la red neuronal cayó al 54%. Además, la ventaja a menudo proclamada de poder detectar ataques de día cero no se pudo observar en nuestros experimentos.