Investigando el aprendizaje de transferencia en redes neuronales de grafos
Autores: Kooverjee, Nishai; James, Steven; van Zyl, Terence
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Investigando el aprendizaje de transferencia en redes neuronales de grafos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Redes neuronales gráficas
Aprendizaje por transferencia
GNNs
Aprendizaje profundo
Tareas de origen
Clasificación de nodos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 59
Citaciones: Sin citaciones
Las redes neuronales gráficas (GNNs) se basan en el éxito de los modelos de aprendizaje profundo al extenderlos para su uso en espacios de gráficos. El aprendizaje por transferencia ha demostrado ser extremadamente exitoso para problemas tradicionales de aprendizaje profundo, lo que resulta en un entrenamiento más rápido y un rendimiento mejorado. A pesar del creciente interés en las GNNs y sus casos de uso, hay poca investigación sobre su transferibilidad. Esta investigación demuestra que el aprendizaje por transferencia es efectivo con las GNNs, y describe cómo las tareas fuente y la elección de la GNN impactan la capacidad de aprender conocimiento generalizable. Realizamos experimentos utilizando datos del mundo real y sintéticos en los contextos de clasificación de nodos y clasificación de gráficos. Con este fin, también proporcionamos una metodología general para la experimentación de aprendizaje por transferencia y presentamos un algoritmo novedoso para generar tareas de clasificación de gráficos sintéticos. Comparamos el rendimiento de GCN, GraphSAGE y GIN en conjuntos de datos tanto sintéticos como del mundo real. Nuestros resultados demuestran empíricamente que las GNNs con operaciones inductivas producen una mejora estadísticamente significativa en la transferencia. Además, mostramos que la similitud en la estructura de la comunidad entre las tareas fuente y objetivo respalda mejoras estadísticamente significativas en la transferencia por encima del uso solo de los atributos de los nodos.
Descripción
Las redes neuronales gráficas (GNNs) se basan en el éxito de los modelos de aprendizaje profundo al extenderlos para su uso en espacios de gráficos. El aprendizaje por transferencia ha demostrado ser extremadamente exitoso para problemas tradicionales de aprendizaje profundo, lo que resulta en un entrenamiento más rápido y un rendimiento mejorado. A pesar del creciente interés en las GNNs y sus casos de uso, hay poca investigación sobre su transferibilidad. Esta investigación demuestra que el aprendizaje por transferencia es efectivo con las GNNs, y describe cómo las tareas fuente y la elección de la GNN impactan la capacidad de aprender conocimiento generalizable. Realizamos experimentos utilizando datos del mundo real y sintéticos en los contextos de clasificación de nodos y clasificación de gráficos. Con este fin, también proporcionamos una metodología general para la experimentación de aprendizaje por transferencia y presentamos un algoritmo novedoso para generar tareas de clasificación de gráficos sintéticos. Comparamos el rendimiento de GCN, GraphSAGE y GIN en conjuntos de datos tanto sintéticos como del mundo real. Nuestros resultados demuestran empíricamente que las GNNs con operaciones inductivas producen una mejora estadísticamente significativa en la transferencia. Además, mostramos que la similitud en la estructura de la comunidad entre las tareas fuente y objetivo respalda mejoras estadísticamente significativas en la transferencia por encima del uso solo de los atributos de los nodos.