Robusto reconocimiento visual en condiciones de visibilidad deficiente: un enfoque de aprendizaje adversarial guiado por conocimientos previos
Autores: Yang, Jiangang; Yang, Jianfei; Luo, Luqing; Wang, Yun; Wang, Shizheng; Liu, Jian
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Robusto reconocimiento visual en condiciones de visibilidad deficiente: un enfoque de aprendizaje adversarial guiado por conocimientos previos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje profundo
Condiciones de visibilidad pobre
Robustez
Reconocimiento de objetos
Módulo de coincidencia de características
Aprendizaje adversario
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 55
Citaciones: Sin citaciones
El aprendizaje profundo ha logrado un éxito notable en numerosas tareas de visión por computadora. Sin embargo, investigaciones recientes revelan que las redes neuronales profundas son vulnerables a perturbaciones naturales de condiciones de visibilidad deficiente, lo que limita sus aplicaciones prácticas. Mientras que varios estudios se han centrado en mejorar la robustez del modelo en condiciones de visibilidad deficiente a través de técnicas como restauración de imágenes, aumento de datos y adaptación de dominio no supervisada, estos esfuerzos están predominantemente limitados a escenarios específicos y no abordan múltiples escenarios de visibilidad deficiente encontrados en entornos del mundo real. Además, el valioso conocimiento previo inherente en imágenes de visibilidad deficiente rara vez se utiliza para ayudar a resolver tareas de visión por computadora de alto nivel. A la luz de estos desafíos, proponemos un nuevo paradigma de aprendizaje profundo diseñado para reforzar la robustez del reconocimiento de objetos en diversas escenas de visibilidad deficiente. Al observar la información previa en diversas escenas de visibilidad deficiente, integramos un módulo de coincidencia de características basado en este conocimiento previo en nuestro paradigma de aprendizaje propuesto, con el objetivo de facilitar que los modelos profundos aprendan características genéricas más robustas en niveles superficiales. Además, para mejorar aún más la robustez de las características profundas, empleamos una estrategia de aprendizaje adversarial basada en información mutua. Esta estrategia combina el módulo de coincidencia de características para extraer representaciones específicas de la tarea de escenas de baja visibilidad de una manera más robusta, mejorando así la robustez del reconocimiento de objetos. Evaluamos nuestro enfoque en conjuntos de datos autoconstruidos que contienen diversas escenas de visibilidad deficiente, incluyendo desenfoque visual, niebla, lluvia, nieve y baja iluminación. Experimentos extensos demuestran que nuestro método propuesto produce mejoras significativas sobre las soluciones existentes en diversas condiciones de visibilidad deficiente.
Descripción
El aprendizaje profundo ha logrado un éxito notable en numerosas tareas de visión por computadora. Sin embargo, investigaciones recientes revelan que las redes neuronales profundas son vulnerables a perturbaciones naturales de condiciones de visibilidad deficiente, lo que limita sus aplicaciones prácticas. Mientras que varios estudios se han centrado en mejorar la robustez del modelo en condiciones de visibilidad deficiente a través de técnicas como restauración de imágenes, aumento de datos y adaptación de dominio no supervisada, estos esfuerzos están predominantemente limitados a escenarios específicos y no abordan múltiples escenarios de visibilidad deficiente encontrados en entornos del mundo real. Además, el valioso conocimiento previo inherente en imágenes de visibilidad deficiente rara vez se utiliza para ayudar a resolver tareas de visión por computadora de alto nivel. A la luz de estos desafíos, proponemos un nuevo paradigma de aprendizaje profundo diseñado para reforzar la robustez del reconocimiento de objetos en diversas escenas de visibilidad deficiente. Al observar la información previa en diversas escenas de visibilidad deficiente, integramos un módulo de coincidencia de características basado en este conocimiento previo en nuestro paradigma de aprendizaje propuesto, con el objetivo de facilitar que los modelos profundos aprendan características genéricas más robustas en niveles superficiales. Además, para mejorar aún más la robustez de las características profundas, empleamos una estrategia de aprendizaje adversarial basada en información mutua. Esta estrategia combina el módulo de coincidencia de características para extraer representaciones específicas de la tarea de escenas de baja visibilidad de una manera más robusta, mejorando así la robustez del reconocimiento de objetos. Evaluamos nuestro enfoque en conjuntos de datos autoconstruidos que contienen diversas escenas de visibilidad deficiente, incluyendo desenfoque visual, niebla, lluvia, nieve y baja iluminación. Experimentos extensos demuestran que nuestro método propuesto produce mejoras significativas sobre las soluciones existentes en diversas condiciones de visibilidad deficiente.