Mejora de Video Térmico Mamba: Un Enfoque Novel para la Mejora de Video Térmico en Aplicaciones del Mundo Real
Autores: Hovhannisyan, Sargis; Agaian, Sos; Panetta, Karen; Grigoryan, Artyom
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Mejora de Video Térmico Mamba: Un Enfoque Novel para la Mejora de Video Térmico en Aplicaciones del Mundo Real
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Seguimiento de objetos
Video térmico
TVEMamba
Marco de mejora
Redes Neuronales Convolucionales
Módulo de atención de flujo óptico
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
El seguimiento de objetos en video térmico es un desafío debido al ruido, el desenfoque y el bajo contraste. Presentamos TVEMamba, un marco de mejora basado en Mamba con complejidad casi lineal que mejora el seguimiento en estas condiciones. Nuestro enfoque utiliza un módulo de Espacio de Estado 2D (SS2D) integrado con Redes Neuronales Convolucionales (CNN) para filtrar, agudizar y resaltar detalles importantes. Los componentes clave incluyen (i) un módulo de eliminación de ruido para reducir el ruido de fondo y mejorar la claridad de la imagen, (ii) un módulo de atención de flujo óptico para manejar movimientos complejos y reducir el desenfoque, y (iii) etiquetado basado en entropía para crear un conjunto de datos térmicos completamente etiquetados para entrenamiento y evaluación. TVEMamba supera a los métodos existentes (DCRGC, RLBHE, IE-CGAN, BBCNN) en múltiples conjuntos de datos (BIRDSAI, FLIR, CAMEL, Vehículos Autónomos, Paneles Solares) y logra puntuaciones más altas en métricas de calidad estándar (EME, BDIM, DMTE, MDIMTE, LGTA). Pruebas extensivas, incluidos estudios de ablación y análisis de convergencia, confirman su robustez. Ejemplos del mundo real, como el seguimiento de humanos, animales y objetos en movimiento para vehículos autónomos y teledetección, demuestran el valor práctico de TVEMamba.
Descripción
El seguimiento de objetos en video térmico es un desafío debido al ruido, el desenfoque y el bajo contraste. Presentamos TVEMamba, un marco de mejora basado en Mamba con complejidad casi lineal que mejora el seguimiento en estas condiciones. Nuestro enfoque utiliza un módulo de Espacio de Estado 2D (SS2D) integrado con Redes Neuronales Convolucionales (CNN) para filtrar, agudizar y resaltar detalles importantes. Los componentes clave incluyen (i) un módulo de eliminación de ruido para reducir el ruido de fondo y mejorar la claridad de la imagen, (ii) un módulo de atención de flujo óptico para manejar movimientos complejos y reducir el desenfoque, y (iii) etiquetado basado en entropía para crear un conjunto de datos térmicos completamente etiquetados para entrenamiento y evaluación. TVEMamba supera a los métodos existentes (DCRGC, RLBHE, IE-CGAN, BBCNN) en múltiples conjuntos de datos (BIRDSAI, FLIR, CAMEL, Vehículos Autónomos, Paneles Solares) y logra puntuaciones más altas en métricas de calidad estándar (EME, BDIM, DMTE, MDIMTE, LGTA). Pruebas extensivas, incluidos estudios de ablación y análisis de convergencia, confirman su robustez. Ejemplos del mundo real, como el seguimiento de humanos, animales y objetos en movimiento para vehículos autónomos y teledetección, demuestran el valor práctico de TVEMamba.