Red de Modelado de Contexto Temporal con Arquitectura Complementaria Local-Global para Generación de Propuestas Temporales
Autores: Yuan, Yunfeng; Yang, Wenzhu; Luo, Zifei; Gou, Ruru
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Red de Modelado de Contexto Temporal con Arquitectura Complementaria Local-Global para Generación de Propuestas Temporales
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Generación de propuestas de acción temporal
Red de modelado de contexto temporal
Convoluciones dilatadas
Módulo de completitud de acción
Generador de límites temporales
Benchmarks de video
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 27
Citaciones: Sin citaciones
La Generación de Propuestas de Acción Temporal (TAPG) es una tarea prometedora pero desafiante con una amplia gama de aplicaciones prácticas. Aunque los métodos de vanguardia han logrado avances significativos en TAPG, la mayoría ignoran el impacto de las escalas temporales de acción y carecen de la explotación de contextos de límites efectivos. En este documento, proponemos un marco unificado simple pero efectivo llamado Red de Modelado de Contexto Temporal (TCMNet) que genera propuestas de acción temporal. TCMNet utiliza de manera innovadora filtros convolucionales con diferentes tasas de dilatación para abordar el problema de la escala temporal. Específicamente, TCMNet contiene un BaseNet con convoluciones dilatadas (DBNet), un Módulo de Completitud de Acción (ACM) y un Generador de Límites Temporales (TBG). El DBNet tiene como objetivo modelar la información temporal. Maneja características de video de entrada a través de diferentes capas convolucionales dilatadas y produce una secuencia de características como entrada de ACM y TBG. ACM tiene como objetivo evaluar las puntuaciones de confianza de propuestas distribuidas de manera densa. TBG está diseñado para enriquecer el contexto de límites de una instancia de acción. TBG puede generar límites de acción con alta precisión y alto recall a través de una estructura complementaria local-global. Realizamos evaluaciones exhaustivas en dos desafiantes conjuntos de datos de video: ActivityNet-1.3 y THUMOS14. Experimentos extensos demuestran la efectividad de TCMNet propuesto en tareas de generación de propuestas de acción temporal y detección de acción temporal.
Descripción
La Generación de Propuestas de Acción Temporal (TAPG) es una tarea prometedora pero desafiante con una amplia gama de aplicaciones prácticas. Aunque los métodos de vanguardia han logrado avances significativos en TAPG, la mayoría ignoran el impacto de las escalas temporales de acción y carecen de la explotación de contextos de límites efectivos. En este documento, proponemos un marco unificado simple pero efectivo llamado Red de Modelado de Contexto Temporal (TCMNet) que genera propuestas de acción temporal. TCMNet utiliza de manera innovadora filtros convolucionales con diferentes tasas de dilatación para abordar el problema de la escala temporal. Específicamente, TCMNet contiene un BaseNet con convoluciones dilatadas (DBNet), un Módulo de Completitud de Acción (ACM) y un Generador de Límites Temporales (TBG). El DBNet tiene como objetivo modelar la información temporal. Maneja características de video de entrada a través de diferentes capas convolucionales dilatadas y produce una secuencia de características como entrada de ACM y TBG. ACM tiene como objetivo evaluar las puntuaciones de confianza de propuestas distribuidas de manera densa. TBG está diseñado para enriquecer el contexto de límites de una instancia de acción. TBG puede generar límites de acción con alta precisión y alto recall a través de una estructura complementaria local-global. Realizamos evaluaciones exhaustivas en dos desafiantes conjuntos de datos de video: ActivityNet-1.3 y THUMOS14. Experimentos extensos demuestran la efectividad de TCMNet propuesto en tareas de generación de propuestas de acción temporal y detección de acción temporal.