logo móvil
Contáctanos

Un método de reidentificación de personas de modalidad cruzada basado en el aprendizaje conjunto de modalidad media y representación

Autores: Ma, Li; Guan, Zhibin; Dai, Xinguan; Gao, Hangbiao; Lu, Yuanmeng

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Un método de reidentificación de personas de modalidad cruzada basado en el aprendizaje conjunto de modalidad media y representación


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Problemas de investigación
Reidentificación de personas entre modalidades cruzadas
Modalidad intermedia
Aprendizaje de representaciones
Diferencias de modalidad
Diferencias intraclase

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 34

Citaciones: Sin citaciones


Descripción
Las diferencias de modalidad y las diferencias intra-clase han sido problemas de investigación candentes en el campo de la reidentificación de personas de modalidad cruzada actualmente. En este artículo, proponemos un método de reidentificación de personas de modalidad cruzada basado en el aprendizaje conjunto de modalidad media y representación. Para reducir las diferencias de modalidad, se utiliza un generador de modalidad media para mapear diferentes imágenes modales a un espacio de características unificado y generar imágenes de modalidad media. Se utiliza una red de dos flujos con compartición de parámetros para extraer las características combinadas de la imagen original y la imagen de modalidad media. Además, se utiliza una estrategia de agrupamiento de múltiples granularidades que combina características globales y características locales para mejorar la capacidad de aprendizaje de representación del modelo y reducir aún más las diferencias de modalidad. Para reducir las diferencias intra-clase, el modelo se optimiza aún más combinando pérdida de consistencia de distribución, pérdida de entropía cruzada de suavizado de etiquetas y pérdida de tripleta de heterocentro para reducir la distancia intra-clase y acelerar la convergencia del modelo. En este artículo, utilizamos los conjuntos de datos públicamente disponibles RegDB y SYSU-MM01 para validación. Los resultados muestran que el enfoque propuesto en este artículo alcanza un mAP del 68.11% en el modo de búsqueda de Todos para el conjunto de datos SYSU-MM01 y un mAP del 86.54% en el modo VtI para el conjunto de datos RegDB, con una mejora de rendimiento del 3.29% y 3.29%, respectivamente, lo que demuestra la efectividad del método propuesto.

Otros recursos que podrían interesarte

Temas Virtualpro