Multi-cc: un nuevo punto de referencia para una agrupación profunda más rápida y mejor
Autores: Yao, Yulin; Yang, Yu; Zhou, Linna; Guo, Xinsheng; Wang, Gang
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Multi-cc: un nuevo punto de referencia para una agrupación profunda más rápida y mejor
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelo de agrupamiento profundo
Agrupamiento Contrastivo de Atención Cruzada de Múltiples Cabezas
Representación de características
Aprendizaje contrastivo
Estrategia de aumento
Módulo de atención cruzada de múltiples cabezas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
El objetivo de nuestro artículo es presentar un nuevo modelo de agrupación profunda llamado Agrupación Contrastiva de Atención Cruzada de Múltiples Cabezas (Multi-CC), que busca mejorar el rendimiento del modelo de agrupación profunda existente CC. Nuestro enfoque implica primero aumentar los datos para formar pares de imágenes y luego utilizar la misma estructura para extraer la representación de características de estos pares de imágenes. Luego realizamos un aprendizaje contrastivo, por separado en el espacio de filas y el espacio de columnas de la matriz de características, para aprender conjuntamente las representaciones de instancias y clústeres. Nuestro enfoque ofrece varias mejoras clave sobre el modelo existente. En primer lugar, utilizamos una estrategia mixta de aumento fuerte y débil para construir pares de imágenes. En segundo lugar, eliminamos la capa de agrupación de la estructura para evitar la pérdida de información. Finalmente, introducimos un módulo de atención cruzada de varias cabezas para mejorar el rendimiento del modelo. Estas mejoras nos han permitido reducir el tiempo de entrenamiento del modelo en un 80%. Como referencia, Multi-CC logra los mejores resultados en CIFAR-10, ImageNet-10 y ImageNet-dogs. Es fácilmente reemplazable con CC, lo que hace que los modelos basados en CC alcancen un mejor rendimiento.
Descripción
El objetivo de nuestro artículo es presentar un nuevo modelo de agrupación profunda llamado Agrupación Contrastiva de Atención Cruzada de Múltiples Cabezas (Multi-CC), que busca mejorar el rendimiento del modelo de agrupación profunda existente CC. Nuestro enfoque implica primero aumentar los datos para formar pares de imágenes y luego utilizar la misma estructura para extraer la representación de características de estos pares de imágenes. Luego realizamos un aprendizaje contrastivo, por separado en el espacio de filas y el espacio de columnas de la matriz de características, para aprender conjuntamente las representaciones de instancias y clústeres. Nuestro enfoque ofrece varias mejoras clave sobre el modelo existente. En primer lugar, utilizamos una estrategia mixta de aumento fuerte y débil para construir pares de imágenes. En segundo lugar, eliminamos la capa de agrupación de la estructura para evitar la pérdida de información. Finalmente, introducimos un módulo de atención cruzada de varias cabezas para mejorar el rendimiento del modelo. Estas mejoras nos han permitido reducir el tiempo de entrenamiento del modelo en un 80%. Como referencia, Multi-CC logra los mejores resultados en CIFAR-10, ImageNet-10 y ImageNet-dogs. Es fácilmente reemplazable con CC, lo que hace que los modelos basados en CC alcancen un mejor rendimiento.