Una evaluación comparativa del mecanismo de autoatención con el modelo ConvLSTM para predecir series temporales globales de aerosoles
Autores: Radivojevi, Duan S.; Lazovi, Ivan M.; Mirkov, Nikola S.; Ramadani, Uzahir R.; Nikezi, Duan P.
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Una evaluación comparativa del mecanismo de autoatención con el modelo ConvLSTM para predecir series temporales globales de aerosoles
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Mecanismo de atención
Mecanismo de autoatención
ConvLSTM
Optimización de hiperparámetros
Validación cruzada
Pruebas estadísticas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 30
Citaciones: Sin citaciones
El mecanismo de atención en el procesamiento del lenguaje natural y el mecanismo de autoatención en los transformadores de visión mejoraron muchos modelos de aprendizaje profundo. Una implementación del mecanismo de autoatención con el modelo secuencia-a-uno ConvLSTM previamente desarrollado se realizó para hacer una evaluación comparativa con pruebas estadísticas. Primero, se desarrolló el nuevo modelo secuencia-a-uno ConvLSTM con un mecanismo de autoatención y luego se eliminó la capa de autoatención para hacer la comparación. El proceso de optimización de hiperparámetros se llevó a cabo mediante búsqueda en cuadrícula para parámetros de tipo entero y cadena, y con optimización de enjambre de partículas para parámetros de tipo flotante. Se utilizó una técnica de validación cruzada para evaluar mejor los modelos con una proporción predefinida de subconjuntos de entrenamiento-validación-prueba. Ambos modelos, con y sin capa de autoatención, superaron los criterios de evaluación definidos, lo que significa que los modelos pueden generar la imagen del grosor global de aerosoles y encontrar patrones de cambios en el dominio del tiempo. El modelo obtenido mediante un estudio de ablación en la capa de autoatención logró mejores resultados para el Error Cuadrático Medio y la Distancia Euclidiana en lo que respecta al modelo ConvLSTM-SA desarrollado. Como parte de la prueba estadística, se realizó una Prueba H de Kruskal-Wallis ya que se determinó que los datos no pertenecían a una distribución normal y los resultados obtenidos mostraron que ambos modelos, con y sin la capa de SA, predicen imágenes similares con patrones a nivel de píxel al conjunto de datos original. Sin embargo, el modelo sin la capa de SA fue más similar al conjunto de datos original, especialmente en el dominio del tiempo a nivel de píxel. Basándose en la evaluación comparativa con pruebas estadísticas, se concluyó que el modelo ConvLSTM-SA desarrollado predice mejor sin una capa de SA.
Descripción
El mecanismo de atención en el procesamiento del lenguaje natural y el mecanismo de autoatención en los transformadores de visión mejoraron muchos modelos de aprendizaje profundo. Una implementación del mecanismo de autoatención con el modelo secuencia-a-uno ConvLSTM previamente desarrollado se realizó para hacer una evaluación comparativa con pruebas estadísticas. Primero, se desarrolló el nuevo modelo secuencia-a-uno ConvLSTM con un mecanismo de autoatención y luego se eliminó la capa de autoatención para hacer la comparación. El proceso de optimización de hiperparámetros se llevó a cabo mediante búsqueda en cuadrícula para parámetros de tipo entero y cadena, y con optimización de enjambre de partículas para parámetros de tipo flotante. Se utilizó una técnica de validación cruzada para evaluar mejor los modelos con una proporción predefinida de subconjuntos de entrenamiento-validación-prueba. Ambos modelos, con y sin capa de autoatención, superaron los criterios de evaluación definidos, lo que significa que los modelos pueden generar la imagen del grosor global de aerosoles y encontrar patrones de cambios en el dominio del tiempo. El modelo obtenido mediante un estudio de ablación en la capa de autoatención logró mejores resultados para el Error Cuadrático Medio y la Distancia Euclidiana en lo que respecta al modelo ConvLSTM-SA desarrollado. Como parte de la prueba estadística, se realizó una Prueba H de Kruskal-Wallis ya que se determinó que los datos no pertenecían a una distribución normal y los resultados obtenidos mostraron que ambos modelos, con y sin la capa de SA, predicen imágenes similares con patrones a nivel de píxel al conjunto de datos original. Sin embargo, el modelo sin la capa de SA fue más similar al conjunto de datos original, especialmente en el dominio del tiempo a nivel de píxel. Basándose en la evaluación comparativa con pruebas estadísticas, se concluyó que el modelo ConvLSTM-SA desarrollado predice mejor sin una capa de SA.