Extracción conjunta de subtítulos y restauración de cuadros para videos con subtítulos incrustados
Autores: Xu, Haoran; He, Yanbai; Li, Xinya; Hu, Xiaoying; Hao, Chuanyan; Jiang, Bo
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Extracción conjunta de subtítulos y restauración de cuadros para videos con subtítulos incrustados
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Subtítulos
Contenido de video
Aprendizaje profundo
Video con subtítulos incrustados
Video retocado
Redes neuronales
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los subtítulos son cruciales para la comprensión del contenido de video. Sin embargo, una gran cantidad de videos solo tiene subtítulos incrustados y codificados que impiden la re-edición del video, la traducción, etc. En este artículo, construimos un sistema basado en aprendizaje profundo para la conversión inversa de un video con subtítulos incrustados a un archivo de subtítulos y un video retocado, acoplando tres redes neuronales profundas (CTPN, CRNN y EdgeConnect). Evaluamos el rendimiento del método propuesto y encontramos que el método de aprendizaje profundo logró una separación de alta precisión de los subtítulos y los fotogramas del video y mejoró significativamente los resultados de la restauración del video en comparación con los métodos existentes. Esta investigación llena un vacío en la aplicación del aprendizaje profundo a la reconstrucción de videos con subtítulos incrustados y se espera que se aplique ampliamente en la reconstrucción y re-edición de videos con subtítulos, anuncios, logotipos y otras oclusiones.
Descripción
Los subtítulos son cruciales para la comprensión del contenido de video. Sin embargo, una gran cantidad de videos solo tiene subtítulos incrustados y codificados que impiden la re-edición del video, la traducción, etc. En este artículo, construimos un sistema basado en aprendizaje profundo para la conversión inversa de un video con subtítulos incrustados a un archivo de subtítulos y un video retocado, acoplando tres redes neuronales profundas (CTPN, CRNN y EdgeConnect). Evaluamos el rendimiento del método propuesto y encontramos que el método de aprendizaje profundo logró una separación de alta precisión de los subtítulos y los fotogramas del video y mejoró significativamente los resultados de la restauración del video en comparación con los métodos existentes. Esta investigación llena un vacío en la aplicación del aprendizaje profundo a la reconstrucción de videos con subtítulos incrustados y se espera que se aplique ampliamente en la reconstrucción y re-edición de videos con subtítulos, anuncios, logotipos y otras oclusiones.