Vhr-birdpose: red de visión basada en transformadores hrnet para la estimación de posturas de aves con mecanismo de atención
Autores: He, Runang; Wang, Xiaomin; Chen, Huazhen; Liu, Chang
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Vhr-birdpose: red de visión basada en transformadores hrnet para la estimación de posturas de aves con mecanismo de atención
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Estimación de postura
Postura de pájaro
VHR-BirdPose
Transformador de Visión
Mecanismo de atención
HRNet
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 28
Citaciones: Sin citaciones
La estimación de postura juega un papel crucial en el reconocimiento y análisis de las posturas, acciones y movimientos de humanos y animales utilizando técnicas de visión por computadora y aprendizaje automático. Sin embargo, la estimación de postura de aves enfrenta desafíos específicos, incluyendo la diversidad de aves, la variación de postura y la fina granularidad de la postura. Para superar estos desafíos, proponemos VHR-BirdPose, un método que combina el Transformador de Visión (ViT) y la Red de Alta Resolución Profunda (HRNet) con un mecanismo de atención. VHR-BirdPose extrae efectivamente características utilizando el mecanismo de autoatención del Transformador de Visión, que captura dependencias globales en las imágenes y permite capturar mejor detalles y cambios de postura. El mecanismo de atención se emplea para mejorar el enfoque en los puntos clave de las aves, mejorando la precisión de la estimación de postura. Al combinar HRNet con el Transformador de Visión, nuestro modelo puede extraer características a múltiples escalas manteniendo detalles de alta resolución e incorporando información semántica más rica a través del mecanismo de atención. Esta integración de HRNet y el Transformador de Visión aprovecha las ventajas de ambos modelos, resultando en una estimación precisa y robusta de la postura de aves. Realizamos experimentos extensos en el conjunto de datos del Reino Animal para evaluar el rendimiento de VHR-BirdPose. Los resultados demuestran que nuestro método propuesto logra un rendimiento de vanguardia en la estimación de postura de aves. VHR-BirdPose basado en imágenes de aves es de gran importancia para el avance de los comportamientos de aves, la comprensión ecológica y la protección de las poblaciones de aves.
Descripción
La estimación de postura juega un papel crucial en el reconocimiento y análisis de las posturas, acciones y movimientos de humanos y animales utilizando técnicas de visión por computadora y aprendizaje automático. Sin embargo, la estimación de postura de aves enfrenta desafíos específicos, incluyendo la diversidad de aves, la variación de postura y la fina granularidad de la postura. Para superar estos desafíos, proponemos VHR-BirdPose, un método que combina el Transformador de Visión (ViT) y la Red de Alta Resolución Profunda (HRNet) con un mecanismo de atención. VHR-BirdPose extrae efectivamente características utilizando el mecanismo de autoatención del Transformador de Visión, que captura dependencias globales en las imágenes y permite capturar mejor detalles y cambios de postura. El mecanismo de atención se emplea para mejorar el enfoque en los puntos clave de las aves, mejorando la precisión de la estimación de postura. Al combinar HRNet con el Transformador de Visión, nuestro modelo puede extraer características a múltiples escalas manteniendo detalles de alta resolución e incorporando información semántica más rica a través del mecanismo de atención. Esta integración de HRNet y el Transformador de Visión aprovecha las ventajas de ambos modelos, resultando en una estimación precisa y robusta de la postura de aves. Realizamos experimentos extensos en el conjunto de datos del Reino Animal para evaluar el rendimiento de VHR-BirdPose. Los resultados demuestran que nuestro método propuesto logra un rendimiento de vanguardia en la estimación de postura de aves. VHR-BirdPose basado en imágenes de aves es de gran importancia para el avance de los comportamientos de aves, la comprensión ecológica y la protección de las poblaciones de aves.