Aprendizaje Contrastivo de Grafos Asimétricos
Autores: Chang, Xinglong; Wang, Jianrong; Guo, Rui; Wang, Yingkui; Li, Weihao
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Aprendizaje Contrastivo de Grafos Asimétricos
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Representaciones de grafos
Aprendizaje no supervisado
Aprendizaje contrastivo
Redes neuronales de grafos
Representaciones de nodos
Diseño asimétrico
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 38
Citaciones: Sin citaciones
Aprender representaciones efectivas de grafos de manera no supervisada es un tema de investigación popular en el análisis de datos de grafos. Recientemente, el aprendizaje contrastivo ha demostrado su éxito en el aprendizaje de representaciones de grafos no supervisado. Sin embargo, cómo evitar soluciones colapsadas para los métodos de aprendizaje contrastivo sigue siendo un desafío crítico. En este documento, se propone un método simple para resolver este problema para el aprendizaje de representaciones de grafos, que es diferente de las técnicas comúnmente utilizadas existentes (como muestras negativas o red predictora). El modelo propuesto se basa principalmente en un diseño asimétrico que consiste en dos redes neuronales de grafos (GNNs) con capas de profundidad desigual para aprender representaciones de nodos a partir de dos vistas aumentadas y define la pérdida contrastiva solo en función de pares de muestras positivas. El método simple tiene una complejidad computacional y de memoria más baja que los métodos existentes. Además, un análisis teórico demuestra que el diseño asimétrico evita soluciones colapsadas al entrenar junto con una operación de stop-gradient. Nuestro método se compara con nueve métodos de vanguardia en seis conjuntos de datos del mundo real para demostrar su validez y superioridad. Los experimentos de abstracción validaron aún más el papel esencial de la arquitectura asimétrica.
Descripción
Aprender representaciones efectivas de grafos de manera no supervisada es un tema de investigación popular en el análisis de datos de grafos. Recientemente, el aprendizaje contrastivo ha demostrado su éxito en el aprendizaje de representaciones de grafos no supervisado. Sin embargo, cómo evitar soluciones colapsadas para los métodos de aprendizaje contrastivo sigue siendo un desafío crítico. En este documento, se propone un método simple para resolver este problema para el aprendizaje de representaciones de grafos, que es diferente de las técnicas comúnmente utilizadas existentes (como muestras negativas o red predictora). El modelo propuesto se basa principalmente en un diseño asimétrico que consiste en dos redes neuronales de grafos (GNNs) con capas de profundidad desigual para aprender representaciones de nodos a partir de dos vistas aumentadas y define la pérdida contrastiva solo en función de pares de muestras positivas. El método simple tiene una complejidad computacional y de memoria más baja que los métodos existentes. Además, un análisis teórico demuestra que el diseño asimétrico evita soluciones colapsadas al entrenar junto con una operación de stop-gradient. Nuestro método se compara con nueve métodos de vanguardia en seis conjuntos de datos del mundo real para demostrar su validez y superioridad. Los experimentos de abstracción validaron aún más el papel esencial de la arquitectura asimétrica.