logo móvil
Contáctanos

Multi-cc: un nuevo punto de referencia para una agrupación profunda más rápida y mejor

Autores: Yao, Yulin; Yang, Yu; Zhou, Linna; Guo, Xinsheng; Wang, Gang

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Multi-cc: un nuevo punto de referencia para una agrupación profunda más rápida y mejor


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Modelo de agrupamiento profundo
Agrupamiento Contrastivo de Atención Cruzada de Múltiples Cabezas
Representación de características
Aprendizaje contrastivo
Estrategia de aumento
Módulo de atención cruzada de múltiples cabezas

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 34

Citaciones: Sin citaciones


Descripción
El objetivo de nuestro artículo es presentar un nuevo modelo de agrupación profunda llamado Agrupación Contrastiva de Atención Cruzada de Múltiples Cabezas (Multi-CC), que busca mejorar el rendimiento del modelo de agrupación profunda existente CC. Nuestro enfoque implica primero aumentar los datos para formar pares de imágenes y luego utilizar la misma estructura para extraer la representación de características de estos pares de imágenes. Luego realizamos un aprendizaje contrastivo, por separado en el espacio de filas y el espacio de columnas de la matriz de características, para aprender conjuntamente las representaciones de instancias y clústeres. Nuestro enfoque ofrece varias mejoras clave sobre el modelo existente. En primer lugar, utilizamos una estrategia mixta de aumento fuerte y débil para construir pares de imágenes. En segundo lugar, eliminamos la capa de agrupación de la estructura para evitar la pérdida de información. Finalmente, introducimos un módulo de atención cruzada de varias cabezas para mejorar el rendimiento del modelo. Estas mejoras nos han permitido reducir el tiempo de entrenamiento del modelo en un 80%. Como referencia, Multi-CC logra los mejores resultados en CIFAR-10, ImageNet-10 y ImageNet-dogs. Es fácilmente reemplazable con CC, lo que hace que los modelos basados en CC alcancen un mejor rendimiento.

Otros recursos que podrían interesarte

Temas Virtualpro