Un método de reidentificación de personas de modalidad cruzada basado en el aprendizaje conjunto de modalidad media y representación
Autores: Ma, Li; Guan, Zhibin; Dai, Xinguan; Gao, Hangbiao; Lu, Yuanmeng
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un método de reidentificación de personas de modalidad cruzada basado en el aprendizaje conjunto de modalidad media y representación
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Problemas de investigación
Reidentificación de personas entre modalidades cruzadas
Modalidad intermedia
Aprendizaje de representaciones
Diferencias de modalidad
Diferencias intraclase
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
Las diferencias de modalidad y las diferencias intra-clase han sido problemas de investigación candentes en el campo de la reidentificación de personas de modalidad cruzada actualmente. En este artículo, proponemos un método de reidentificación de personas de modalidad cruzada basado en el aprendizaje conjunto de modalidad media y representación. Para reducir las diferencias de modalidad, se utiliza un generador de modalidad media para mapear diferentes imágenes modales a un espacio de características unificado y generar imágenes de modalidad media. Se utiliza una red de dos flujos con compartición de parámetros para extraer las características combinadas de la imagen original y la imagen de modalidad media. Además, se utiliza una estrategia de agrupamiento de múltiples granularidades que combina características globales y características locales para mejorar la capacidad de aprendizaje de representación del modelo y reducir aún más las diferencias de modalidad. Para reducir las diferencias intra-clase, el modelo se optimiza aún más combinando pérdida de consistencia de distribución, pérdida de entropía cruzada de suavizado de etiquetas y pérdida de tripleta de heterocentro para reducir la distancia intra-clase y acelerar la convergencia del modelo. En este artículo, utilizamos los conjuntos de datos públicamente disponibles RegDB y SYSU-MM01 para validación. Los resultados muestran que el enfoque propuesto en este artículo alcanza un mAP del 68.11% en el modo de búsqueda de Todos para el conjunto de datos SYSU-MM01 y un mAP del 86.54% en el modo VtI para el conjunto de datos RegDB, con una mejora de rendimiento del 3.29% y 3.29%, respectivamente, lo que demuestra la efectividad del método propuesto.
Descripción
Las diferencias de modalidad y las diferencias intra-clase han sido problemas de investigación candentes en el campo de la reidentificación de personas de modalidad cruzada actualmente. En este artículo, proponemos un método de reidentificación de personas de modalidad cruzada basado en el aprendizaje conjunto de modalidad media y representación. Para reducir las diferencias de modalidad, se utiliza un generador de modalidad media para mapear diferentes imágenes modales a un espacio de características unificado y generar imágenes de modalidad media. Se utiliza una red de dos flujos con compartición de parámetros para extraer las características combinadas de la imagen original y la imagen de modalidad media. Además, se utiliza una estrategia de agrupamiento de múltiples granularidades que combina características globales y características locales para mejorar la capacidad de aprendizaje de representación del modelo y reducir aún más las diferencias de modalidad. Para reducir las diferencias intra-clase, el modelo se optimiza aún más combinando pérdida de consistencia de distribución, pérdida de entropía cruzada de suavizado de etiquetas y pérdida de tripleta de heterocentro para reducir la distancia intra-clase y acelerar la convergencia del modelo. En este artículo, utilizamos los conjuntos de datos públicamente disponibles RegDB y SYSU-MM01 para validación. Los resultados muestran que el enfoque propuesto en este artículo alcanza un mAP del 68.11% en el modo de búsqueda de Todos para el conjunto de datos SYSU-MM01 y un mAP del 86.54% en el modo VtI para el conjunto de datos RegDB, con una mejora de rendimiento del 3.29% y 3.29%, respectivamente, lo que demuestra la efectividad del método propuesto.