Observando individuos y el comportamiento de los gibones de Hainan (Nomascus hainanus) utilizando tecnología de fusión de imágenes infrarrojas y visibles de drones
Autores: Li, Shengshi; Wang, Guanjun; Zhang, Hui; Zou, Yonghua
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Observando individuos y el comportamiento de los gibones de Hainan (Nomascus hainanus) utilizando tecnología de fusión de imágenes infrarrojas y visibles de drones
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Gibón de Hainan
Infrarrojo
Imágenes visibles
Método de fusión
Swin-uetfuse
Selva tropical
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
El gibón de Hainan (Nomascus hainanus) es uno de los primates más amenazados del mundo. Las imágenes infrarrojas y visibles tomadas por drones son una forma importante y efectiva de observar a los gibones de Hainan. Sin embargo, una sola imagen infrarroja o visible no puede observar simultáneamente las trayectorias de movimiento de los gibones de Hainan y la apariencia de la selva tropical. La fusión de imágenes infrarrojas y visibles de la misma escena tiene como objetivo generar una imagen compuesta que pueda proporcionar una descripción más completa de la escena. Proponemos un método de fusión de imágenes infrarrojas y visibles del gibón de Hainan por primera vez, denominado Swin-UetFuse. El Swin-UetFuse tiene una poderosa capacidad de extracción de información semántica global y de largo alcance, lo que lo hace muy adecuado para su aplicación en entornos complejos de selvas tropicales. En primer lugar, se aplica el Swin Transformer jerárquico como codificador para extraer las características de diferentes escalas de imágenes infrarrojas y visibles. En segundo lugar, las características de diferentes escalas se fusionan a través de la estrategia de norma l1. Finalmente, se utilizan los bloques del Swing Transformer y las capas de expansión de parches como decodificador para aumentar las características de fusión y obtener la imagen fusionada. Utilizamos 21 pares de conjuntos de datos de gibones de Hainan para realizar experimentos, y los resultados experimentales demuestran que el método propuesto logra un excelente rendimiento de fusión. La tecnología de fusión de imágenes infrarrojas y visibles de drones proporciona una referencia importante para la observación y protección de los gibones de Hainan.
Descripción
El gibón de Hainan (Nomascus hainanus) es uno de los primates más amenazados del mundo. Las imágenes infrarrojas y visibles tomadas por drones son una forma importante y efectiva de observar a los gibones de Hainan. Sin embargo, una sola imagen infrarroja o visible no puede observar simultáneamente las trayectorias de movimiento de los gibones de Hainan y la apariencia de la selva tropical. La fusión de imágenes infrarrojas y visibles de la misma escena tiene como objetivo generar una imagen compuesta que pueda proporcionar una descripción más completa de la escena. Proponemos un método de fusión de imágenes infrarrojas y visibles del gibón de Hainan por primera vez, denominado Swin-UetFuse. El Swin-UetFuse tiene una poderosa capacidad de extracción de información semántica global y de largo alcance, lo que lo hace muy adecuado para su aplicación en entornos complejos de selvas tropicales. En primer lugar, se aplica el Swin Transformer jerárquico como codificador para extraer las características de diferentes escalas de imágenes infrarrojas y visibles. En segundo lugar, las características de diferentes escalas se fusionan a través de la estrategia de norma l1. Finalmente, se utilizan los bloques del Swing Transformer y las capas de expansión de parches como decodificador para aumentar las características de fusión y obtener la imagen fusionada. Utilizamos 21 pares de conjuntos de datos de gibones de Hainan para realizar experimentos, y los resultados experimentales demuestran que el método propuesto logra un excelente rendimiento de fusión. La tecnología de fusión de imágenes infrarrojas y visibles de drones proporciona una referencia importante para la observación y protección de los gibones de Hainan.