Leviosa: generación de trayectorias de vehículos aéreos no tripulados basada en lenguaje natural
Autores: Aikins, Godwyll; Dao, Mawaba Pascal; Moukpe, Koboyo Josias; Eskridge, Thomas C.; Nguyen, Kim-Doang
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Leviosa: generación de trayectorias de vehículos aéreos no tripulados basada en lenguaje natural
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Marco de trabajo
Generación de trayectorias
Modelos de lenguaje grandes multimodales
Enjambres de UAV
Mecanismo de consenso de múltiples críticos
Estructuración jerárquica de indicaciones
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 32
Citaciones: Sin citaciones
Este documento presenta LEVIOSA, un marco novedoso para la generación de trayectorias de vehículos aéreos no tripulados (UAV) basado en texto y voz. Al aprovechar modelos de lenguaje grandes multimodales (LLMs) para interpretar comandos en lenguaje natural, el sistema convierte entradas de texto y audio en trayectorias de vuelo ejecutables para enjambres de UAV. El enfoque tiene como objetivo simplificar la tarea compleja de generación de trayectorias multi-UAV, que tiene aplicaciones significativas en campos como búsqueda y rescate, agricultura, inspección de infraestructuras y entretenimiento. El marco implica dos innovaciones clave: un mecanismo de consenso de múltiples críticos para evaluar la calidad de la trayectoria y una estructuración jerárquica de la indicación para una ejecución de tarea mejorada. Las innovaciones garantizan fidelidad a los objetivos del usuario. El marco integra varios LLMs multimodales para la planificación de alto nivel, convirtiendo las entradas en lenguaje natural en puntos de referencia 3D que guían los movimientos de los UAV y controladores de bajo nivel por UAV para controlar cada UAV en la ejecución de su ruta de puntos de referencia 3D asignada basada en el plan de alto nivel. La metodología se probó en varios tipos de trayectorias con resultados prometedores en precisión, sincronización y evitación de colisiones. Los hallazgos allanan el camino para interacciones humano-robot más intuitivas y una coordinación multi-UAV avanzada.
Descripción
Este documento presenta LEVIOSA, un marco novedoso para la generación de trayectorias de vehículos aéreos no tripulados (UAV) basado en texto y voz. Al aprovechar modelos de lenguaje grandes multimodales (LLMs) para interpretar comandos en lenguaje natural, el sistema convierte entradas de texto y audio en trayectorias de vuelo ejecutables para enjambres de UAV. El enfoque tiene como objetivo simplificar la tarea compleja de generación de trayectorias multi-UAV, que tiene aplicaciones significativas en campos como búsqueda y rescate, agricultura, inspección de infraestructuras y entretenimiento. El marco implica dos innovaciones clave: un mecanismo de consenso de múltiples críticos para evaluar la calidad de la trayectoria y una estructuración jerárquica de la indicación para una ejecución de tarea mejorada. Las innovaciones garantizan fidelidad a los objetivos del usuario. El marco integra varios LLMs multimodales para la planificación de alto nivel, convirtiendo las entradas en lenguaje natural en puntos de referencia 3D que guían los movimientos de los UAV y controladores de bajo nivel por UAV para controlar cada UAV en la ejecución de su ruta de puntos de referencia 3D asignada basada en el plan de alto nivel. La metodología se probó en varios tipos de trayectorias con resultados prometedores en precisión, sincronización y evitación de colisiones. Los hallazgos allanan el camino para interacciones humano-robot más intuitivas y una coordinación multi-UAV avanzada.