Reconocimiento facial y de marcha frontal de baja resolución multimodal a partir de video de vigilancia
Autores: Maity, Sayan; Abdel-Mottaleb, Mohamed; Asfour, Shihab S.
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Reconocimiento facial y de marcha frontal de baja resolución multimodal a partir de video de vigilancia
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Identificación biométrica
Video de vigilancia
Marcha frontal
Imágenes faciales de baja resolución
Sistema de reconocimiento
Fusión multimodal
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 55
Citaciones: Sin citaciones
La identificación biométrica utilizando video de vigilancia ha atraído la atención de muchos investigadores, ya que puede ser aplicable no solo para una identificación robusta, sino también para el monitoreo de actividades personalizadas. En este documento, presentamos un novedoso sistema de reconocimiento multimodal que extrae la marcha frontal y las imágenes de rostro de baja resolución de clips de video de vigilancia de caminata frontal para realizar un reconocimiento biométrico eficiente. El estudio propuesto aborda dos problemas importantes en el video de vigilancia que no recibieron la atención adecuada en el pasado. Primero, consolida los enfoques de extracción de características de marcha sin modelo y basados en modelo para realizar un reconocimiento de marcha robusto solo utilizando la vista frontal. En segundo lugar, utiliza un enfoque de reconocimiento facial de baja resolución que puede ser entrenado y probado utilizando información de rostro de baja resolución. Esto elimina la necesidad de obtener imágenes de rostro de alta resolución para crear la galería, que es requerida en la mayoría de las técnicas de reconocimiento facial de baja resolución. Además, la precisión de clasificación en imágenes de rostro de alta resolución es considerablemente mayor. Los estudios anteriores sobre reconocimiento de marcha frontal incorporan suposiciones para aproximar el ciclo de marcha promedio. Sin embargo, cuantificamos el ciclo de marcha con precisión para cada sujeto utilizando solo la información de marcha frontal. Los enfoques disponibles en la literatura utilizan imágenes de alta resolución obtenidas en un entorno controlado para entrenar el sistema de reconocimiento. Sin embargo, en nuestro sistema propuesto entrenamos el algoritmo de reconocimiento utilizando las imágenes de rostro de baja resolución capturadas en un entorno no restringido. El sistema propuesto tiene dos componentes, uno es responsable de realizar el reconocimiento de marcha frontal y otro es responsable del reconocimiento de rostro de baja resolución. Posteriormente, se realiza una fusión a nivel de puntuación para fusionar los resultados del reconocimiento de marcha frontal y el reconocimiento de rostro de baja resolución. Los experimentos realizados en el conjunto de datos de Face and Ocular Challenge Series (FOCS) resultaron en un 93.5% de Rango-1 para el reconocimiento de marcha frontal y un 82.92% de Rango-1 para el reconocimiento de rostro de baja resolución, respectivamente. La fusión multimodal a nivel de puntuación resultó en un reconocimiento de Rango-1 del 95.9%, lo que demuestra la superioridad y robustez del enfoque propuesto.
Descripción
La identificación biométrica utilizando video de vigilancia ha atraído la atención de muchos investigadores, ya que puede ser aplicable no solo para una identificación robusta, sino también para el monitoreo de actividades personalizadas. En este documento, presentamos un novedoso sistema de reconocimiento multimodal que extrae la marcha frontal y las imágenes de rostro de baja resolución de clips de video de vigilancia de caminata frontal para realizar un reconocimiento biométrico eficiente. El estudio propuesto aborda dos problemas importantes en el video de vigilancia que no recibieron la atención adecuada en el pasado. Primero, consolida los enfoques de extracción de características de marcha sin modelo y basados en modelo para realizar un reconocimiento de marcha robusto solo utilizando la vista frontal. En segundo lugar, utiliza un enfoque de reconocimiento facial de baja resolución que puede ser entrenado y probado utilizando información de rostro de baja resolución. Esto elimina la necesidad de obtener imágenes de rostro de alta resolución para crear la galería, que es requerida en la mayoría de las técnicas de reconocimiento facial de baja resolución. Además, la precisión de clasificación en imágenes de rostro de alta resolución es considerablemente mayor. Los estudios anteriores sobre reconocimiento de marcha frontal incorporan suposiciones para aproximar el ciclo de marcha promedio. Sin embargo, cuantificamos el ciclo de marcha con precisión para cada sujeto utilizando solo la información de marcha frontal. Los enfoques disponibles en la literatura utilizan imágenes de alta resolución obtenidas en un entorno controlado para entrenar el sistema de reconocimiento. Sin embargo, en nuestro sistema propuesto entrenamos el algoritmo de reconocimiento utilizando las imágenes de rostro de baja resolución capturadas en un entorno no restringido. El sistema propuesto tiene dos componentes, uno es responsable de realizar el reconocimiento de marcha frontal y otro es responsable del reconocimiento de rostro de baja resolución. Posteriormente, se realiza una fusión a nivel de puntuación para fusionar los resultados del reconocimiento de marcha frontal y el reconocimiento de rostro de baja resolución. Los experimentos realizados en el conjunto de datos de Face and Ocular Challenge Series (FOCS) resultaron en un 93.5% de Rango-1 para el reconocimiento de marcha frontal y un 82.92% de Rango-1 para el reconocimiento de rostro de baja resolución, respectivamente. La fusión multimodal a nivel de puntuación resultó en un reconocimiento de Rango-1 del 95.9%, lo que demuestra la superioridad y robustez del enfoque propuesto.