logo móvil
Contáctanos

Una evaluación comparativa del mecanismo de autoatención con el modelo ConvLSTM para predecir series temporales globales de aerosoles

Autores: Radivojevi, Duan S.; Lazovi, Ivan M.; Mirkov, Nikola S.; Ramadani, Uzahir R.; Nikezi, Duan P.

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Una evaluación comparativa del mecanismo de autoatención con el modelo ConvLSTM para predecir series temporales globales de aerosoles


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Mecanismo de atención
Mecanismo de autoatención
ConvLSTM
Optimización de hiperparámetros
Validación cruzada
Pruebas estadísticas

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 30

Citaciones: Sin citaciones


Descripción
El mecanismo de atención en el procesamiento del lenguaje natural y el mecanismo de autoatención en los transformadores de visión mejoraron muchos modelos de aprendizaje profundo. Una implementación del mecanismo de autoatención con el modelo secuencia-a-uno ConvLSTM previamente desarrollado se realizó para hacer una evaluación comparativa con pruebas estadísticas. Primero, se desarrolló el nuevo modelo secuencia-a-uno ConvLSTM con un mecanismo de autoatención y luego se eliminó la capa de autoatención para hacer la comparación. El proceso de optimización de hiperparámetros se llevó a cabo mediante búsqueda en cuadrícula para parámetros de tipo entero y cadena, y con optimización de enjambre de partículas para parámetros de tipo flotante. Se utilizó una técnica de validación cruzada para evaluar mejor los modelos con una proporción predefinida de subconjuntos de entrenamiento-validación-prueba. Ambos modelos, con y sin capa de autoatención, superaron los criterios de evaluación definidos, lo que significa que los modelos pueden generar la imagen del grosor global de aerosoles y encontrar patrones de cambios en el dominio del tiempo. El modelo obtenido mediante un estudio de ablación en la capa de autoatención logró mejores resultados para el Error Cuadrático Medio y la Distancia Euclidiana en lo que respecta al modelo ConvLSTM-SA desarrollado. Como parte de la prueba estadística, se realizó una Prueba H de Kruskal-Wallis ya que se determinó que los datos no pertenecían a una distribución normal y los resultados obtenidos mostraron que ambos modelos, con y sin la capa de SA, predicen imágenes similares con patrones a nivel de píxel al conjunto de datos original. Sin embargo, el modelo sin la capa de SA fue más similar al conjunto de datos original, especialmente en el dominio del tiempo a nivel de píxel. Basándose en la evaluación comparativa con pruebas estadísticas, se concluyó que el modelo ConvLSTM-SA desarrollado predice mejor sin una capa de SA.

Otros recursos que podrían interesarte

Temas Virtualpro