Red SeriesNet Basada en Atención: Un Modelo Híbrido de Red Neuronal Basado en Atención para la Predicción Condicional de Series Temporales
Autores: Cheng, Yepeng; Liu, Zuren; Morimoto, Yasuhiko
Idioma: Inglés
Editor: MDPI
Año: 2020
Acceso abierto
Artículo científico
2020
Red SeriesNet Basada en Atención: Un Modelo Híbrido de Red Neuronal Basado en Atención para la Predicción Condicional de Series Temporales
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Tradicional
Pronóstico de series temporales
Aprendizaje profundo
SeriesNet
Redes neuronales
Mecanismos de atención
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Las técnicas tradicionales de pronóstico de series temporales no pueden extraer características de datos secuenciales lo suficientemente buenas, y sus precisiones son limitadas. La estructura de aprendizaje profundo SeriesNet es un método avanzado que adopta redes neuronales híbridas, incluyendo redes neuronales convolucionales causales dilatadas (DC-CNN) y redes neuronales recurrentes de memoria a corto y largo plazo (LSTM-RNN), para aprender características de múltiples rangos y niveles de series temporales multicondicionales con mayor precisión. Sin embargo, no consideraron los mecanismos de atención para aprender características temporales. Además, el método de condicionamiento para CNN y RNN no es específico, y el número de parámetros en cada capa es enorme. Este artículo propone el método de condicionamiento para dos tipos de redes neuronales, y utiliza respectivamente la red de unidades recurrentes con compuerta (GRU) y las redes convolucionales temporales separables en profundidad dilatada (DDSTCN) en lugar de LSTM y DC-CNN para reducir los parámetros. Además, este artículo presenta el módulo de atención de estado oculto basado en RNN (HSAM) ligero combinado con el módulo de atención de bloque convolucional basado en CNN (CBAM) para el pronóstico de series temporales. Los resultados experimentales muestran que nuestro modelo es superior a otros modelos desde el punto de vista de la precisión del pronóstico y la eficiencia computacional.
Descripción
Las técnicas tradicionales de pronóstico de series temporales no pueden extraer características de datos secuenciales lo suficientemente buenas, y sus precisiones son limitadas. La estructura de aprendizaje profundo SeriesNet es un método avanzado que adopta redes neuronales híbridas, incluyendo redes neuronales convolucionales causales dilatadas (DC-CNN) y redes neuronales recurrentes de memoria a corto y largo plazo (LSTM-RNN), para aprender características de múltiples rangos y niveles de series temporales multicondicionales con mayor precisión. Sin embargo, no consideraron los mecanismos de atención para aprender características temporales. Además, el método de condicionamiento para CNN y RNN no es específico, y el número de parámetros en cada capa es enorme. Este artículo propone el método de condicionamiento para dos tipos de redes neuronales, y utiliza respectivamente la red de unidades recurrentes con compuerta (GRU) y las redes convolucionales temporales separables en profundidad dilatada (DDSTCN) en lugar de LSTM y DC-CNN para reducir los parámetros. Además, este artículo presenta el módulo de atención de estado oculto basado en RNN (HSAM) ligero combinado con el módulo de atención de bloque convolucional basado en CNN (CBAM) para el pronóstico de series temporales. Los resultados experimentales muestran que nuestro modelo es superior a otros modelos desde el punto de vista de la precisión del pronóstico y la eficiencia computacional.