Seguimiento de objetos asistido por eventos en drones de alta velocidad en entornos de iluminación adversos
Autores: Han, Yuqi; Yu, Xiaohang; Luan, Heng; Suo, Jinli
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Seguimiento de objetos asistido por eventos en drones de alta velocidad en entornos de iluminación adversos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Drones
Sensores
Cámara RGB
Seguimiento de objetos
Cámaras de eventos
Variaciones de intensidad
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los drones se han utilizado en una variedad de escenarios, como el monitoreo atmosférico, el rescate en incendios, la irrigación agrícola, etc., en los cuales la percepción ambiental precisa es de crucial importancia tanto para la toma de decisiones como para el control. Entre los sensores de drones, la cámara RGB es indispensable para capturar información visual rica para la navegación del vehículo, pero enfrenta un gran desafío en escenas de alto rango dinámico, que ocurren con frecuencia en aplicaciones reales. Específicamente, los fotogramas grabados sufren de subexposición y sobreexposición simultáneamente y degradan las tareas de visión sucesivas. Para resolver el problema, tomamos el seguimiento de objetos como un ejemplo y aprovechamos la superior respuesta de las cámaras de eventos sobre un amplio rango de intensidad para proponer un algoritmo de seguimiento de objetos asistido por eventos que puede lograr un seguimiento confiable bajo grandes variaciones de intensidad. Específicamente, proponemos buscar la coincidencia de características a partir de señales de eventos densas y, sobre esta base, (i) diseñar un algoritmo de mejora de imagen basado en U-Net para equilibrar la intensidad RGB con la ayuda de fotogramas vecinos en el dominio temporal y luego (ii) construir un modelo de seguimiento de doble entrada para rastrear los objetos en movimiento a partir de video RGB con intensidad equilibrada y secuencias de eventos. El enfoque propuesto se valida de manera integral tanto en simulaciones como en experimentos reales.
Descripción
Los drones se han utilizado en una variedad de escenarios, como el monitoreo atmosférico, el rescate en incendios, la irrigación agrícola, etc., en los cuales la percepción ambiental precisa es de crucial importancia tanto para la toma de decisiones como para el control. Entre los sensores de drones, la cámara RGB es indispensable para capturar información visual rica para la navegación del vehículo, pero enfrenta un gran desafío en escenas de alto rango dinámico, que ocurren con frecuencia en aplicaciones reales. Específicamente, los fotogramas grabados sufren de subexposición y sobreexposición simultáneamente y degradan las tareas de visión sucesivas. Para resolver el problema, tomamos el seguimiento de objetos como un ejemplo y aprovechamos la superior respuesta de las cámaras de eventos sobre un amplio rango de intensidad para proponer un algoritmo de seguimiento de objetos asistido por eventos que puede lograr un seguimiento confiable bajo grandes variaciones de intensidad. Específicamente, proponemos buscar la coincidencia de características a partir de señales de eventos densas y, sobre esta base, (i) diseñar un algoritmo de mejora de imagen basado en U-Net para equilibrar la intensidad RGB con la ayuda de fotogramas vecinos en el dominio temporal y luego (ii) construir un modelo de seguimiento de doble entrada para rastrear los objetos en movimiento a partir de video RGB con intensidad equilibrada y secuencias de eventos. El enfoque propuesto se valida de manera integral tanto en simulaciones como en experimentos reales.