Clasificadores híbridos para la detección, seguimiento y reconocimiento de comportamientos anómalos espacio-temporales en multitudes masivas del Hajj
Autores: Alafif, Tarik; Hadi, Anas; Allahyani, Manal; Alzahrani, Bander; Alhothali, Areej; Alotaibi, Reem; Barnawi, Ahmed
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Clasificadores híbridos para la detección, seguimiento y reconocimiento de comportamientos anómalos espacio-temporales en multitudes masivas del Hajj
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Comportamientos anormales
Multitudes a gran escala
CNNs
RFs
Detección
Seguimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 48
Citaciones: Sin citaciones
Los comportamientos anómalos individuales varían dependiendo del tamaño de la multitud, los contextos y las escenas. Los desafíos como las oclusiones parciales, el desenfoque, un gran número de comportamientos anómalos y la visualización de cámaras ocurren en multitudes a gran escala al detectar, rastrear y reconocer a individuos con anomalías. En este documento, nuestra contribución es doble. En primer lugar, presentamos un conjunto de datos Hajj anotado y etiquetado de comportamiento anómalo de multitudes a gran escala, HAJJv2. En segundo lugar, proponemos dos métodos de redes neuronales convolucionales híbridas (CNN) y bosques aleatorios (RF) para detectar y reconocer comportamientos anómalos espacio-temporales en videos de multitudes pequeñas y a gran escala. En videos de multitudes pequeñas, se ajusta un modelo CNN pre-entrenado ResNet-50 para verificar si cada cuadro es normal o anómalo en el dominio espacial. Si se observan comportamientos anómalos, se propone un método de detección individual basado en el movimiento, basado en las magnitudes y orientaciones del flujo óptico de Horn-Schunck para localizar y rastrear individuos con comportamientos anómalos. En videos de multitudes a gran escala, se emplea un filtro de Kalman para predecir y rastrear a los individuos detectados en los cuadros subsiguientes. Luego, se calculan medias y varianzas como características estadísticas y se alimentan al clasificador RF para clasificar individuos con comportamientos anómalos en el dominio temporal. En multitudes a gran escala, ajustamos el modelo ResNet-50 utilizando una técnica de detección de objetos YOLOv2 para detectar individuos con comportamientos anómalos en el dominio espacial. El método propuesto logra un 99.76% y un 93.71% de área promedio bajo las curvas (AUC) en dos conjuntos de datos de multitudes pequeñas de referencia pública, UMN y UCSD, respectivamente, mientras que el método de multitudes a gran escala logra un 76.08% de AUC promedio utilizando el conjunto de datos HAJJv2. Nuestro método supera a los métodos de vanguardia utilizando los conjuntos de datos de multitudes pequeñas con un margen de 1.66%, 6.06% y 2.85% en UMN, UCSD Ped1 y UCSD Ped2, respectivamente. También produce un resultado aceptable en multitudes a gran escala.
Descripción
Los comportamientos anómalos individuales varían dependiendo del tamaño de la multitud, los contextos y las escenas. Los desafíos como las oclusiones parciales, el desenfoque, un gran número de comportamientos anómalos y la visualización de cámaras ocurren en multitudes a gran escala al detectar, rastrear y reconocer a individuos con anomalías. En este documento, nuestra contribución es doble. En primer lugar, presentamos un conjunto de datos Hajj anotado y etiquetado de comportamiento anómalo de multitudes a gran escala, HAJJv2. En segundo lugar, proponemos dos métodos de redes neuronales convolucionales híbridas (CNN) y bosques aleatorios (RF) para detectar y reconocer comportamientos anómalos espacio-temporales en videos de multitudes pequeñas y a gran escala. En videos de multitudes pequeñas, se ajusta un modelo CNN pre-entrenado ResNet-50 para verificar si cada cuadro es normal o anómalo en el dominio espacial. Si se observan comportamientos anómalos, se propone un método de detección individual basado en el movimiento, basado en las magnitudes y orientaciones del flujo óptico de Horn-Schunck para localizar y rastrear individuos con comportamientos anómalos. En videos de multitudes a gran escala, se emplea un filtro de Kalman para predecir y rastrear a los individuos detectados en los cuadros subsiguientes. Luego, se calculan medias y varianzas como características estadísticas y se alimentan al clasificador RF para clasificar individuos con comportamientos anómalos en el dominio temporal. En multitudes a gran escala, ajustamos el modelo ResNet-50 utilizando una técnica de detección de objetos YOLOv2 para detectar individuos con comportamientos anómalos en el dominio espacial. El método propuesto logra un 99.76% y un 93.71% de área promedio bajo las curvas (AUC) en dos conjuntos de datos de multitudes pequeñas de referencia pública, UMN y UCSD, respectivamente, mientras que el método de multitudes a gran escala logra un 76.08% de AUC promedio utilizando el conjunto de datos HAJJv2. Nuestro método supera a los métodos de vanguardia utilizando los conjuntos de datos de multitudes pequeñas con un margen de 1.66%, 6.06% y 2.85% en UMN, UCSD Ped1 y UCSD Ped2, respectivamente. También produce un resultado aceptable en multitudes a gran escala.