Multi-augmentación basada en aprendizaje contrastivo para aprendizaje semi-supervisado
Autores: Wang, Jie; Yang, Jie; He, Jiafan; Peng, Dongliang
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Multi-augmentación basada en aprendizaje contrastivo para aprendizaje semi-supervisado
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Aprendizaje semi-supervisado
Pseudoetiquetas
Regularización de consistencia
Técnicas de aumento
Contraste de multi-aumentación
MixUP
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
El aprendizaje semisupervisado ha demostrado ser efectivo en la utilización de muestras no etiquetadas para mitigar el problema de datos etiquetados limitados. Los métodos tradicionales de aprendizaje semisupervisado generan pseudoetiquetas para muestras no etiquetadas y entrenan el clasificador utilizando tanto muestras etiquetadas como pseudoetiquetadas. Sin embargo, en escenarios con escasez de datos, la dependencia de muestras etiquetadas para la generación inicial del clasificador puede degradar el rendimiento. Los métodos basados en regularización de consistencia han mostrado resultados prometedores al fomentar salidas consistentes para diferentes variaciones semánticas de la misma muestra obtenidas a través de diversas técnicas de aumento. Sin embargo, los métodos existentes típicamente utilizan solo variantes de aumento débil y fuerte, limitando la extracción de información. Por lo tanto, se propone un método de aprendizaje semisupervisado contrastivo de multi-aumento (MAC-SSL). MAC-SSL introduce un aumento moderado, combinando salidas de imágenes no etiquetadas moderadamente y débilmente aumentadas para generar pseudoetiquetas. La pérdida de entropía cruzada garantiza la consistencia entre las salidas de imágenes fuertemente aumentadas y las pseudoetiquetas. Además, se adopta el MixUP para mezclar las salidas de imágenes etiquetadas y no etiquetadas, mejorando la consistencia entre las salidas re-aumentadas y las nuevas pseudoetiquetas. El método propuesto logra un rendimiento de vanguardia (precisión) a través de experimentos extensos realizados en múltiples conjuntos de datos con diferentes cantidades de muestras etiquetadas. Los estudios de ablación investigan aún más la importancia de cada componente.
Descripción
El aprendizaje semisupervisado ha demostrado ser efectivo en la utilización de muestras no etiquetadas para mitigar el problema de datos etiquetados limitados. Los métodos tradicionales de aprendizaje semisupervisado generan pseudoetiquetas para muestras no etiquetadas y entrenan el clasificador utilizando tanto muestras etiquetadas como pseudoetiquetadas. Sin embargo, en escenarios con escasez de datos, la dependencia de muestras etiquetadas para la generación inicial del clasificador puede degradar el rendimiento. Los métodos basados en regularización de consistencia han mostrado resultados prometedores al fomentar salidas consistentes para diferentes variaciones semánticas de la misma muestra obtenidas a través de diversas técnicas de aumento. Sin embargo, los métodos existentes típicamente utilizan solo variantes de aumento débil y fuerte, limitando la extracción de información. Por lo tanto, se propone un método de aprendizaje semisupervisado contrastivo de multi-aumento (MAC-SSL). MAC-SSL introduce un aumento moderado, combinando salidas de imágenes no etiquetadas moderadamente y débilmente aumentadas para generar pseudoetiquetas. La pérdida de entropía cruzada garantiza la consistencia entre las salidas de imágenes fuertemente aumentadas y las pseudoetiquetas. Además, se adopta el MixUP para mezclar las salidas de imágenes etiquetadas y no etiquetadas, mejorando la consistencia entre las salidas re-aumentadas y las nuevas pseudoetiquetas. El método propuesto logra un rendimiento de vanguardia (precisión) a través de experimentos extensos realizados en múltiples conjuntos de datos con diferentes cantidades de muestras etiquetadas. Los estudios de ablación investigan aún más la importancia de cada componente.