Orden de programación basada en topología dinámica para red neuronal recurrente
Autores: Sanchez Narvaez, Diego; Villaseñor, Carlos; Lopez-Franco, Carlos; Arana-Daniel, Nancy
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Orden de programación basada en topología dinámica para red neuronal recurrente
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Redes neuronales
Topología
Proceso de entrenamiento
Plasticidad
Pronóstico de series temporales
LSTM
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 24
Citaciones: Sin citaciones
Es bien sabido que parte de la capacidad de las redes neuronales está determinada por su topología y el proceso de entrenamiento empleado. Cómo debería ser diseñada una red neuronal y cómo debería actualizarse cada vez que se adquieren nuevos datos, es un problema que sigue abierto ya que generalmente se limita a un proceso de prueba y error, basado principalmente en la experiencia del diseñador. Para abordar este problema, se propone un algoritmo que proporciona plasticidad a las redes neuronales (RNN) aplicado a la predicción de series temporales. Se crea un paradigma de crecimiento y poda de toma de decisiones, basado en el cálculo del orden de los datos, indicando en qué situaciones durante el proceso de re-entrenamiento (cuando se reciben nuevos datos), la red debería aumentar o disminuir sus conexiones, dando como resultado una arquitectura dinámica que puede facilitar el diseño e implementación de la red, así como mejorar su comportamiento. El algoritmo propuesto fue probado con algunas series temporales de la competencia de pronóstico M4, utilizando modelos de Memoria a Corto y Largo Plazo (LSTM). Se obtuvieron mejores resultados para la mayoría de las pruebas, con nuevos modelos tanto más grandes como más pequeños que sus versiones estáticas, mostrando una mejora promedio de hasta un 18%.
Descripción
Es bien sabido que parte de la capacidad de las redes neuronales está determinada por su topología y el proceso de entrenamiento empleado. Cómo debería ser diseñada una red neuronal y cómo debería actualizarse cada vez que se adquieren nuevos datos, es un problema que sigue abierto ya que generalmente se limita a un proceso de prueba y error, basado principalmente en la experiencia del diseñador. Para abordar este problema, se propone un algoritmo que proporciona plasticidad a las redes neuronales (RNN) aplicado a la predicción de series temporales. Se crea un paradigma de crecimiento y poda de toma de decisiones, basado en el cálculo del orden de los datos, indicando en qué situaciones durante el proceso de re-entrenamiento (cuando se reciben nuevos datos), la red debería aumentar o disminuir sus conexiones, dando como resultado una arquitectura dinámica que puede facilitar el diseño e implementación de la red, así como mejorar su comportamiento. El algoritmo propuesto fue probado con algunas series temporales de la competencia de pronóstico M4, utilizando modelos de Memoria a Corto y Largo Plazo (LSTM). Se obtuvieron mejores resultados para la mayoría de las pruebas, con nuevos modelos tanto más grandes como más pequeños que sus versiones estáticas, mostrando una mejora promedio de hasta un 18%.