Análisis en tiempo real de visión-lenguaje para drones submarinos autónomos: un marco de nube-borde utilizando Qwen2.5-VL
Autores: Li, Wannian; Zhang, Fan
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Análisis en tiempo real de visión-lenguaje para drones submarinos autónomos: un marco de nube-borde utilizando Qwen2.5-VL
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Vehículos autónomos submarinos
Percepción ambiental en tiempo real
Análisis de visión-lenguaje
Marco de nube-borde
Modelo Qwen2.5-VL
Modelos de visión-lenguaje
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Los Vehículos Submarinos Autónomos (AUVs) equipados con sistemas de visión enfrentan desafíos únicos en la percepción ambiental en tiempo real debido a las duras condiciones submarinas y las limitaciones computacionales. Este artículo presenta un nuevo marco de nube y borde para el análisis en tiempo real de visión-lenguaje en drones submarinos utilizando el modelo Qwen2.5-VL. Nuestro sistema emplea un mecanismo de muestreo de marco uniforme que equilibra la resolución temporal con las capacidades de procesamiento, logrando un análisis casi en tiempo real a 1 fps a partir de flujos de entrada de 23 fps. Construimos un modelo de flujo de datos integral que abarca la mejora de imágenes, la latencia de comunicación, la inferencia en la nube y el retorno de resultados semánticos, que está respaldado por un marco teórico de latencia y un análisis de tasa de procesamiento sostenible. Los resultados experimentales basados en simulaciones en tres escenarios submarinos desafiantes: inspección de tuberías, monitoreo de arrecifes de coral e investigación de naufragios, demuestran una comprensión consistente de la escena con latencias de extremo a extremo cercanas a 1 s. El modelo Qwen2.5-VL genera con éxito resúmenes en lenguaje natural que capturan la estructura espacial, el contenido biológico y las condiciones del hábitat, incluso bajo turbidez y oclusión. Nuestros resultados muestran que los modelos de visión-lenguaje (VLMs) pueden proporcionar una rica comprensión semántica de las escenas submarinas a pesar de las condiciones desafiantes, permitiendo que los AUVs realicen tareas de monitoreo complejas con descripciones de escena en lenguaje natural. Este trabajo contribuye al avance de los sistemas de percepción impulsados por IA para el creciente mercado de drones submarinos autónomos, apoyando aplicaciones en monitoreo ambiental, inspección de infraestructura en alta mar y evaluación de ecosistemas marinos.
Descripción
Los Vehículos Submarinos Autónomos (AUVs) equipados con sistemas de visión enfrentan desafíos únicos en la percepción ambiental en tiempo real debido a las duras condiciones submarinas y las limitaciones computacionales. Este artículo presenta un nuevo marco de nube y borde para el análisis en tiempo real de visión-lenguaje en drones submarinos utilizando el modelo Qwen2.5-VL. Nuestro sistema emplea un mecanismo de muestreo de marco uniforme que equilibra la resolución temporal con las capacidades de procesamiento, logrando un análisis casi en tiempo real a 1 fps a partir de flujos de entrada de 23 fps. Construimos un modelo de flujo de datos integral que abarca la mejora de imágenes, la latencia de comunicación, la inferencia en la nube y el retorno de resultados semánticos, que está respaldado por un marco teórico de latencia y un análisis de tasa de procesamiento sostenible. Los resultados experimentales basados en simulaciones en tres escenarios submarinos desafiantes: inspección de tuberías, monitoreo de arrecifes de coral e investigación de naufragios, demuestran una comprensión consistente de la escena con latencias de extremo a extremo cercanas a 1 s. El modelo Qwen2.5-VL genera con éxito resúmenes en lenguaje natural que capturan la estructura espacial, el contenido biológico y las condiciones del hábitat, incluso bajo turbidez y oclusión. Nuestros resultados muestran que los modelos de visión-lenguaje (VLMs) pueden proporcionar una rica comprensión semántica de las escenas submarinas a pesar de las condiciones desafiantes, permitiendo que los AUVs realicen tareas de monitoreo complejas con descripciones de escena en lenguaje natural. Este trabajo contribuye al avance de los sistemas de percepción impulsados por IA para el creciente mercado de drones submarinos autónomos, apoyando aplicaciones en monitoreo ambiental, inspección de infraestructura en alta mar y evaluación de ecosistemas marinos.