Aprendizaje por Refuerzo Profundo Basado en Red de Convolución Gráfica Espacial-Temporal Social para la Navegación de Multitudes
Autores: Lu, Yazhou; Ruan, Xiaogang; Huang, Jing
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Aprendizaje por Refuerzo Profundo Basado en Red de Convolución Gráfica Espacial-Temporal Social para la Navegación de Multitudes
Categoría
Tecnología de Equipos y Accesorios
Subcategoría
Diseño de equipos y herramientas
Palabras clave
Navegación de multitudes
Aprendizaje por refuerzo
Red neuronal gráfica
Modelo de interacción social
Comportamiento del robot
Información espacio-temporal
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 17
Citaciones: Sin citaciones
En la navegación en multitudes, el aprendizaje por refuerzo basado en redes neuronales gráficas es un método prometedor, que resuelve eficazmente el pobre efecto de navegación basado en el modelo de interacción social y el comportamiento de congelación del robot en casos extremos. Sin embargo, dado que la correlación de información de la trayectoria humana no se ha incluido en el método, su rendimiento aún necesita mejoras. Por lo tanto, propusimos un modelo de aprendizaje por refuerzo profundo basado en la Red de Convolución Gráfica Espacial-Temporal Social (SSTGCN) para abordar el problema de la navegación en multitudes, en el que se ha aprovechado la información espacio-temporal de la trayectoria humana para predecir las intenciones de comportamiento humano y ayudar al robot a planificar su camino de manera más eficiente. El modelo consta de un módulo de aprendizaje gráfico y un módulo de planificación hacia adelante del robot. En el módulo de aprendizaje gráfico, se aprovechan las características latentes de los agentes para razonar sobre las relaciones entre ellos, y se utiliza SSTGCN para actualizar la matriz de características. Además, el módulo de estimación de valor calcula la representación del estado y el módulo de predicción de estado predice el siguiente estado. El módulo de planificación hacia adelante del robot utiliza la planificación de k pasos para estimar la calidad del estado y busca la mejor planificación de k pasos. Probamos nuestro modelo en la plataforma Crowd-Nav, y los resultados muestran que nuestro modelo tiene una alta tasa de éxito en la navegación y un corto tiempo de navegación. Además, tiene buena robustez ante cambios en la multitud.
Descripción
En la navegación en multitudes, el aprendizaje por refuerzo basado en redes neuronales gráficas es un método prometedor, que resuelve eficazmente el pobre efecto de navegación basado en el modelo de interacción social y el comportamiento de congelación del robot en casos extremos. Sin embargo, dado que la correlación de información de la trayectoria humana no se ha incluido en el método, su rendimiento aún necesita mejoras. Por lo tanto, propusimos un modelo de aprendizaje por refuerzo profundo basado en la Red de Convolución Gráfica Espacial-Temporal Social (SSTGCN) para abordar el problema de la navegación en multitudes, en el que se ha aprovechado la información espacio-temporal de la trayectoria humana para predecir las intenciones de comportamiento humano y ayudar al robot a planificar su camino de manera más eficiente. El modelo consta de un módulo de aprendizaje gráfico y un módulo de planificación hacia adelante del robot. En el módulo de aprendizaje gráfico, se aprovechan las características latentes de los agentes para razonar sobre las relaciones entre ellos, y se utiliza SSTGCN para actualizar la matriz de características. Además, el módulo de estimación de valor calcula la representación del estado y el módulo de predicción de estado predice el siguiente estado. El módulo de planificación hacia adelante del robot utiliza la planificación de k pasos para estimar la calidad del estado y busca la mejor planificación de k pasos. Probamos nuestro modelo en la plataforma Crowd-Nav, y los resultados muestran que nuestro modelo tiene una alta tasa de éxito en la navegación y un corto tiempo de navegación. Además, tiene buena robustez ante cambios en la multitud.