Cnn-based temporal video segmentation using a nonlinear hyperbolic pde-based multi-scale analysis
Autores: Barbu, Tudor
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Cnn-based temporal video segmentation using a nonlinear hyperbolic pde-based multi-scale analysis
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Marco de segmentación temporal de video automático
Técnica de detección de cortes
Extracción de características de alto nivel
Análisis de imagen a múltiples escalas
Redes neuronales convolucionales
Modelo de EDP
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 44
Citaciones: Sin citaciones
Se introduce un marco de segmentación automática de video temporal en este artículo. La técnica propuesta de detección de cortes realiza una extracción de características de alto nivel en los fotogramas de video, aplicando un enfoque de análisis de imagen a múltiples escalas que combina ecuaciones diferenciales parciales no lineales (EDP) con redes neuronales convolucionales (CNN). Se propone un modelo de EDP hiperbólica de segundo orden no lineal y su bien planteamiento se investiga rigurosamente aquí. Su solución débil y única se determina numéricamente aplicando un algoritmo de aproximación numérica basado en el método de diferencias finitas que converge rápidamente a ella. Luego se crea una representación de espacio de escala utilizando ese esquema de discretización iterativo. Se realiza una extracción de características basada en CNN en cada escala y los vectores de características obtenidos en múltiples escalas se concatenan en un descriptor de fotograma final. Luego se determinan los valores de distancia de los vectores de características entre dos fotogramas sucesivos y las transiciones de video se identifican a continuación, aplicando un esquema de agrupación automática en estos valores. El modelo de EDP propuesto, su investigación matemática y discretización, y el análisis a múltiples escalas basado en él representan las principales contribuciones de este trabajo. Al final de este artículo de investigación se describen algunos experimentos de segmentación temporal y comparaciones de métodos que ilustran la efectividad del marco propuesto.
Descripción
Se introduce un marco de segmentación automática de video temporal en este artículo. La técnica propuesta de detección de cortes realiza una extracción de características de alto nivel en los fotogramas de video, aplicando un enfoque de análisis de imagen a múltiples escalas que combina ecuaciones diferenciales parciales no lineales (EDP) con redes neuronales convolucionales (CNN). Se propone un modelo de EDP hiperbólica de segundo orden no lineal y su bien planteamiento se investiga rigurosamente aquí. Su solución débil y única se determina numéricamente aplicando un algoritmo de aproximación numérica basado en el método de diferencias finitas que converge rápidamente a ella. Luego se crea una representación de espacio de escala utilizando ese esquema de discretización iterativo. Se realiza una extracción de características basada en CNN en cada escala y los vectores de características obtenidos en múltiples escalas se concatenan en un descriptor de fotograma final. Luego se determinan los valores de distancia de los vectores de características entre dos fotogramas sucesivos y las transiciones de video se identifican a continuación, aplicando un esquema de agrupación automática en estos valores. El modelo de EDP propuesto, su investigación matemática y discretización, y el análisis a múltiples escalas basado en él representan las principales contribuciones de este trabajo. Al final de este artículo de investigación se describen algunos experimentos de segmentación temporal y comparaciones de métodos que ilustran la efectividad del marco propuesto.