Modelos de agrupamiento auto supervisados basados en la estructura de red BYOL
Autores: Chen, Xuehao; Zhou, Jin; Chen, Yuehui; Han, Shiyuan; Wang, Yingxu; Du, Tao; Yang, Cheng; Liu, Bowen
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Modelos de agrupamiento auto supervisados basados en la estructura de red BYOL
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelos de agrupamiento contrastivos
Representaciones discriminativas auto-supervisadas
De extremo a extremo
Orientación orientada al agrupamiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 38
Citaciones: Sin citaciones
Los modelos de agrupamiento basados en contrastes suelen depender de un gran número de pares negativos para capturar representaciones uniformes, lo que requiere un tamaño de lote grande y una alta complejidad computacional. En contraste, algunos métodos de autoaprendizaje realizan un aprendizaje no contrastivo para capturar representaciones discriminatorias solo con pares positivos, pero sufren del colapso del agrupamiento. Para resolver estos problemas, se propone en este trabajo un nuevo modelo de agrupamiento auto supervisado de extremo a extremo. La red básica de aprendizaje auto supervisado se modifica primero, seguida por la incorporación de una capa Softmax para obtener asignaciones de clúster como representación de datos. Luego, se integra el aprendizaje adversarial en las asignaciones de clúster en los métodos para mejorar aún más la discriminación entre diferentes clústeres y mitigar el colapso entre clústeres. Para fomentar aún más la orientación hacia el agrupamiento, se ensambla una nueva discriminación a nivel de clúster para promover el rendimiento del agrupamiento midiendo la autocorrelación entre las asignaciones de clúster aprendidas. Los resultados experimentales en conjuntos de datos del mundo real muestran un mejor rendimiento del modelo propuesto en comparación con los métodos de agrupamiento profundo existentes.
Descripción
Los modelos de agrupamiento basados en contrastes suelen depender de un gran número de pares negativos para capturar representaciones uniformes, lo que requiere un tamaño de lote grande y una alta complejidad computacional. En contraste, algunos métodos de autoaprendizaje realizan un aprendizaje no contrastivo para capturar representaciones discriminatorias solo con pares positivos, pero sufren del colapso del agrupamiento. Para resolver estos problemas, se propone en este trabajo un nuevo modelo de agrupamiento auto supervisado de extremo a extremo. La red básica de aprendizaje auto supervisado se modifica primero, seguida por la incorporación de una capa Softmax para obtener asignaciones de clúster como representación de datos. Luego, se integra el aprendizaje adversarial en las asignaciones de clúster en los métodos para mejorar aún más la discriminación entre diferentes clústeres y mitigar el colapso entre clústeres. Para fomentar aún más la orientación hacia el agrupamiento, se ensambla una nueva discriminación a nivel de clúster para promover el rendimiento del agrupamiento midiendo la autocorrelación entre las asignaciones de clúster aprendidas. Los resultados experimentales en conjuntos de datos del mundo real muestran un mejor rendimiento del modelo propuesto en comparación con los métodos de agrupamiento profundo existentes.