Fusión de imágenes infrarrojas y visibles livianas a través de DenseNet adaptativo con destilación de conocimiento
Autores: Zhao, Zongqing; Su, Shaojing; Wei, Junyu; Tong, Xiaozhong; Gao, Weijia
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Fusión de imágenes infrarrojas y visibles livianas a través de DenseNet adaptativo con destilación de conocimiento
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Fusión
Infrarrojo
Visible
Aprendizaje profundo
Compresión de modelos
DenseNet adaptativo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
La fusión de imágenes infrarrojas y visibles produce una imagen complementaria que captura tanto la información de radiación infrarroja como los detalles de estructura de textura visibles utilizando los respectivos sensores. Sin embargo, los enfoques actuales de fusión basados en el aprendizaje profundo tienden principalmente a priorizar la calidad visual y las métricas estadísticas, lo que conlleva a una mayor complejidad del modelo y tamaños de parámetros de peso. Para abordar estos desafíos, proponemos un enfoque novedoso de fusión de doble luz utilizando DenseNet adaptativo con destilación de conocimiento para aprender y comprimir a partir de modelos de fusión preexistentes, lo que logra los objetivos de compresión del modelo a través del uso de hiperparámetros como el ancho y la profundidad de la red del modelo. La efectividad de nuestro enfoque propuesto se evalúa en un nuevo conjunto de datos que comprende tres conjuntos de datos públicos (MSRS, M3FD y LLVIP), y tanto los resultados experimentales cualitativos como cuantitativos muestran que el modelo de DenseNet adaptativo destilado coincide efectivamente con el rendimiento de los modelos de fusión originales con parámetros de peso de modelo más pequeños y tiempos de inferencia más cortos.
Descripción
La fusión de imágenes infrarrojas y visibles produce una imagen complementaria que captura tanto la información de radiación infrarroja como los detalles de estructura de textura visibles utilizando los respectivos sensores. Sin embargo, los enfoques actuales de fusión basados en el aprendizaje profundo tienden principalmente a priorizar la calidad visual y las métricas estadísticas, lo que conlleva a una mayor complejidad del modelo y tamaños de parámetros de peso. Para abordar estos desafíos, proponemos un enfoque novedoso de fusión de doble luz utilizando DenseNet adaptativo con destilación de conocimiento para aprender y comprimir a partir de modelos de fusión preexistentes, lo que logra los objetivos de compresión del modelo a través del uso de hiperparámetros como el ancho y la profundidad de la red del modelo. La efectividad de nuestro enfoque propuesto se evalúa en un nuevo conjunto de datos que comprende tres conjuntos de datos públicos (MSRS, M3FD y LLVIP), y tanto los resultados experimentales cualitativos como cuantitativos muestran que el modelo de DenseNet adaptativo destilado coincide efectivamente con el rendimiento de los modelos de fusión originales con parámetros de peso de modelo más pequeños y tiempos de inferencia más cortos.