detección de anomalías de multitudes profundas fusionando redes de reconstrucción y predicción
Autores: Sharif, Md. Haidar; Jiao, Lei; Omlin, Christian W.
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
detección de anomalías de multitudes profundas fusionando redes de reconstrucción y predicción
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Detección de eventos anormales
Modelos de detección de anomalías profundas
Errores de reconstrucción
Puntuaciones a nivel de fotograma
Redes neuronales profundas
RpNet
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 37
Citaciones: Sin citaciones
La detección de eventos anormales es una de las tareas más desafiantes en visión por computadora. Muchos de los modelos de detección de anomalías profundos existentes se basan en errores de reconstrucción, donde la fase de entrenamiento se realiza utilizando solo videos de eventos normales y luego el modelo es capaz de estimar puntajes a nivel de cuadro para una entrada desconocida. Se asume que la brecha de error de reconstrucción entre cuadros de puntajes normales y anormales es alta para eventos anormales durante la fase de prueba. Sin embargo, esta suposición no siempre se cumple debido a la capacidad superior y generalización de las redes neuronales profundas. En este documento, diseñamos un marco generalizado (rpNet) para proponer una serie de modelos profundos fusionando varias opciones de una red de reconstrucción (rNet) y una red de predicción (pNet) para detectar anomalías en videos de manera eficiente. En el rNet, se puede utilizar un autoencoder convolucional (ConvAE) o un autoencoder convolucional con conexión de salto (AEc), mientras que en el pNet, se puede aplicar una U-Net tradicional, una U-Net con bloque no local o una U-Net con bloque de atención (aUnet). La fusión de ambos rNet y pNet aumenta la brecha de error. Nuestros modelos profundos tienen un grado distinto de capacidades de extracción de características. Uno de nuestros modelos (AEcaUnet) consiste en un AEc con nuestro propuesto aUnet que tiene la capacidad de confirmar una mejor brecha de error y de extraer una alta calidad de características necesarias para la detección de anomalías en videos. Los resultados experimentales en los conjuntos de datos UCSD-Ped1, UCSD-Ped2, CUHK-Avenue, ShanghaiTech-Campus y UMN con un análisis estadístico riguroso muestran la efectividad de nuestros modelos.
Descripción
La detección de eventos anormales es una de las tareas más desafiantes en visión por computadora. Muchos de los modelos de detección de anomalías profundos existentes se basan en errores de reconstrucción, donde la fase de entrenamiento se realiza utilizando solo videos de eventos normales y luego el modelo es capaz de estimar puntajes a nivel de cuadro para una entrada desconocida. Se asume que la brecha de error de reconstrucción entre cuadros de puntajes normales y anormales es alta para eventos anormales durante la fase de prueba. Sin embargo, esta suposición no siempre se cumple debido a la capacidad superior y generalización de las redes neuronales profundas. En este documento, diseñamos un marco generalizado (rpNet) para proponer una serie de modelos profundos fusionando varias opciones de una red de reconstrucción (rNet) y una red de predicción (pNet) para detectar anomalías en videos de manera eficiente. En el rNet, se puede utilizar un autoencoder convolucional (ConvAE) o un autoencoder convolucional con conexión de salto (AEc), mientras que en el pNet, se puede aplicar una U-Net tradicional, una U-Net con bloque no local o una U-Net con bloque de atención (aUnet). La fusión de ambos rNet y pNet aumenta la brecha de error. Nuestros modelos profundos tienen un grado distinto de capacidades de extracción de características. Uno de nuestros modelos (AEcaUnet) consiste en un AEc con nuestro propuesto aUnet que tiene la capacidad de confirmar una mejor brecha de error y de extraer una alta calidad de características necesarias para la detección de anomalías en videos. Los resultados experimentales en los conjuntos de datos UCSD-Ped1, UCSD-Ped2, CUHK-Avenue, ShanghaiTech-Campus y UMN con un análisis estadístico riguroso muestran la efectividad de nuestros modelos.