Aprendiendo mecanismo de propagación basado en datos para red neuronal gráfica
Autores: Wu, Yue; Hu, Xidao; Fan, Xiaolong; Ma, Wenping; Gao, Qiuyue
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Aprendiendo mecanismo de propagación basado en datos para red neuronal gráfica
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Gráfico
Redes neuronales
Mecanismo de propagación
Basado en datos
Objetivo de optimización
Redes de Atención en Grafos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 43
Citaciones: Sin citaciones
Un gráfico es una estructura de datos relacional adecuada para representar datos estructurados no euclidianos. En los últimos años, las redes neuronales de gráficos (GNN) y sus variantes subsiguientes, que utilizan redes neuronales profundas para completar el análisis y la representación de gráficos, han mostrado un rendimiento excelente en varios campos de aplicación. Sin embargo, el mecanismo de propagación de los métodos existentes se basa en una arquitectura de conexión de capa GNN diseñada a mano, lo que es propenso a problemas de redundancia de información y sobrealisado. Para aliviar este problema, proponemos un mecanismo de propagación basado en datos para propagar información de manera adaptativa entre capas. Específicamente, construimos un objetivo de optimización de dos niveles y utilizamos el algoritmo de descenso de gradiente para aprender la arquitectura de propagación hacia adelante, lo que mejora la eficiencia del aprendizaje de diferentes combinaciones de capas en redes multinivel. Los resultados experimentales del modelo en siete conjuntos de datos de referencia demuestran la efectividad del método propuesto. Además, combinar este mecanismo de propagación basado en datos con modelos, como las Redes de Atención de Gráficos, puede mejorar consistentemente el rendimiento de estos modelos.
Descripción
Un gráfico es una estructura de datos relacional adecuada para representar datos estructurados no euclidianos. En los últimos años, las redes neuronales de gráficos (GNN) y sus variantes subsiguientes, que utilizan redes neuronales profundas para completar el análisis y la representación de gráficos, han mostrado un rendimiento excelente en varios campos de aplicación. Sin embargo, el mecanismo de propagación de los métodos existentes se basa en una arquitectura de conexión de capa GNN diseñada a mano, lo que es propenso a problemas de redundancia de información y sobrealisado. Para aliviar este problema, proponemos un mecanismo de propagación basado en datos para propagar información de manera adaptativa entre capas. Específicamente, construimos un objetivo de optimización de dos niveles y utilizamos el algoritmo de descenso de gradiente para aprender la arquitectura de propagación hacia adelante, lo que mejora la eficiencia del aprendizaje de diferentes combinaciones de capas en redes multinivel. Los resultados experimentales del modelo en siete conjuntos de datos de referencia demuestran la efectividad del método propuesto. Además, combinar este mecanismo de propagación basado en datos con modelos, como las Redes de Atención de Gráficos, puede mejorar consistentemente el rendimiento de estos modelos.