Seguimiento RGBT basado en drones con red de agregación de características duales
Autores: Gao, Zhinan; Li, Dongdong; Wen, Gongjian; Kuai, Yangliu; Chen, Rui
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Seguimiento RGBT basado en drones con red de agregación de características duales
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Campo
Seguimiento de objetos basado en drones
Modalidad infrarroja
Estructura de Transformer
Red de seguimiento de objetos de doble modalidad
Red de Agregación de Doble Característica
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
En el campo del seguimiento de objetos basado en drones, la utilización de la modalidad infrarroja puede mejorar la robustez del rastreador en escenas con cambios severos de iluminación y oclusiones, y ampliar la escena aplicable a la tarea de seguimiento de objetos con drones. Inspirados en los grandes logros de la estructura Transformer en el campo del seguimiento de objetos RGB, diseñamos una red de seguimiento de objetos de doble modalidad basada en Transformer. Para abordar mejor el problema de la fusión de información visible-infrarroja, proponemos una Red de Agregación de Doble Característica que utiliza mecanismos de atención en dimensiones espaciales y de canal para agregar información de características de modalidades heterogéneas. El algoritmo propuesto ha logrado un mejor rendimiento en comparación con los algoritmos principales en el conjunto de datos de seguimiento de objetos de doble modalidad basado en drones VTUAV. Además, el algoritmo es ligero y puede ser fácilmente implementado y ejecutado en una plataforma de computación en el borde de drones. En resumen, el algoritmo propuesto es principalmente aplicable al campo del seguimiento de objetos de doble modalidad con drones y el algoritmo está optimizado para que pueda ser desplegado en la plataforma de computación en el borde de drones. La efectividad del algoritmo se demuestra mediante experimentos y el alcance del seguimiento de objetos con drones se extiende de manera efectiva.
Descripción
En el campo del seguimiento de objetos basado en drones, la utilización de la modalidad infrarroja puede mejorar la robustez del rastreador en escenas con cambios severos de iluminación y oclusiones, y ampliar la escena aplicable a la tarea de seguimiento de objetos con drones. Inspirados en los grandes logros de la estructura Transformer en el campo del seguimiento de objetos RGB, diseñamos una red de seguimiento de objetos de doble modalidad basada en Transformer. Para abordar mejor el problema de la fusión de información visible-infrarroja, proponemos una Red de Agregación de Doble Característica que utiliza mecanismos de atención en dimensiones espaciales y de canal para agregar información de características de modalidades heterogéneas. El algoritmo propuesto ha logrado un mejor rendimiento en comparación con los algoritmos principales en el conjunto de datos de seguimiento de objetos de doble modalidad basado en drones VTUAV. Además, el algoritmo es ligero y puede ser fácilmente implementado y ejecutado en una plataforma de computación en el borde de drones. En resumen, el algoritmo propuesto es principalmente aplicable al campo del seguimiento de objetos de doble modalidad con drones y el algoritmo está optimizado para que pueda ser desplegado en la plataforma de computación en el borde de drones. La efectividad del algoritmo se demuestra mediante experimentos y el alcance del seguimiento de objetos con drones se extiende de manera efectiva.