Un marco adaptativo YOLO11 para la localización, seguimiento e imagen de objetivos aéreos pequeños utilizando una red de cámaras Pan-Tilt-Zoom
Autores: Lui, Ming Him; Liu, Haixu; Tang, Zhuochen; Yuan, Hang; Williams, David; Lee, Dongjin; Wong, K. C.; Wang, Zihao
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un marco adaptativo YOLO11 para la localización, seguimiento e imagen de objetivos aéreos pequeños utilizando una red de cámaras Pan-Tilt-Zoom
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería General
Palabras clave
Sistema de red de cámaras
Detección de objetos basada en redes neuronales
Visión estéreo
Cámara pan-tilt-zoom
Diferenciación de objetivos en tiempo real
Destilación de conocimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
Este artículo presenta un sistema de red de cámaras rentable que emplea la detección de objetos basada en redes neuronales y visión estéreo para asistir a una cámara pan-tilt-zoom en la captura de objetivos aéreos pequeños que se mueven rápidamente y de forma errática. En comparación con los sistemas de radar tradicionales, este enfoque ofrece ventajas en el soporte de la diferenciación de objetivos en tiempo real y facilidad de implementación. Basado en el principio de destilación del conocimiento, se propone un novedoso método de aumento de datos para coordinar los últimos modelos grandes pre-entrenados de código abierto en tareas de segmentación semántica, generación de texto y generación de imágenes para entrenar un BicycleGAN para mejora de imágenes. El conjunto de datos resultante se prueba en varias estructuras de modelos y tamaños de red de dos marcos de detección de objetos principales, YOLO de Ultralytics y MMDetection. Además, el algoritmo implementa y compara dos rastreadores de objetos populares, Bot-SORT y ByteTrack. La prueba de concepto experimental despliega el modelo YOLOv8n, que logra una precisión promedio del 82.2% y un tiempo de inferencia de 0.6 ms. Alternativamente, el modelo YOLO11x maximiza la precisión promedio en un 86.7% manteniendo un tiempo de inferencia de 9.3 ms sin obstaculizar los procesos posteriores. La visión estéreo logra una precisión con un error mediano de 90 mm después de que un dron vuele a más de 1 m/s en un área de interés de 8 m por 4 m. El seguimiento estable de un solo objeto con la cámara PTZ tiene éxito a 15 fps con una precisión del 92.58%.
Descripción
Este artículo presenta un sistema de red de cámaras rentable que emplea la detección de objetos basada en redes neuronales y visión estéreo para asistir a una cámara pan-tilt-zoom en la captura de objetivos aéreos pequeños que se mueven rápidamente y de forma errática. En comparación con los sistemas de radar tradicionales, este enfoque ofrece ventajas en el soporte de la diferenciación de objetivos en tiempo real y facilidad de implementación. Basado en el principio de destilación del conocimiento, se propone un novedoso método de aumento de datos para coordinar los últimos modelos grandes pre-entrenados de código abierto en tareas de segmentación semántica, generación de texto y generación de imágenes para entrenar un BicycleGAN para mejora de imágenes. El conjunto de datos resultante se prueba en varias estructuras de modelos y tamaños de red de dos marcos de detección de objetos principales, YOLO de Ultralytics y MMDetection. Además, el algoritmo implementa y compara dos rastreadores de objetos populares, Bot-SORT y ByteTrack. La prueba de concepto experimental despliega el modelo YOLOv8n, que logra una precisión promedio del 82.2% y un tiempo de inferencia de 0.6 ms. Alternativamente, el modelo YOLO11x maximiza la precisión promedio en un 86.7% manteniendo un tiempo de inferencia de 9.3 ms sin obstaculizar los procesos posteriores. La visión estéreo logra una precisión con un error mediano de 90 mm después de que un dron vuele a más de 1 m/s en un área de interés de 8 m por 4 m. El seguimiento estable de un solo objeto con la cámara PTZ tiene éxito a 15 fps con una precisión del 92.58%.