Aprendizaje de Locomoción Avanzada para Robots Cuadrúpedos: Un Marco de Aprendizaje por Refuerzo Multi-Agente Distribuido con Políticas de Movimiento Riemannianas
Autores: Wang, Yuliu; Sagawa, Ryusuke; Yoshiyasu, Yusuke
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Aprendizaje de Locomoción Avanzada para Robots Cuadrúpedos: Un Marco de Aprendizaje por Refuerzo Multi-Agente Distribuido con Políticas de Movimiento Riemannianas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Robótica
Palabras clave
Avances
Robótica cuadrúpedes
Potencial motor
Aprendizaje por refuerzo
Políticas de movimiento riemanniano
Aprendizaje por refuerzo multiagente
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 38
Citaciones: Sin citaciones
Los avances recientes en robótica cuadrúpedes han explorado el potencial motor de estas máquinas más allá de la simple caminata, permitiendo habilidades altamente dinámicas como saltos, volteretas y incluso locomoción bípeda. Si bien el aprendizaje por refuerzo ha demostrado un excelente rendimiento en este ámbito, a menudo depende de la sintonización compleja de funciones de recompensa y de tiempos de entrenamiento prolongados, y la interpretabilidad no es satisfactoria. Las políticas de movimiento riemanniano, un método de control reactivo, sobresalen en el manejo de sistemas altamente dinámicos, pero generalmente están limitadas a sistemas completamente actuados, lo que hace que su aplicación a robots cuadrúpedes subactuados sea un desafío. Para abordar estas limitaciones, proponemos un nuevo marco que trata cada pierna de un robot cuadrúpedo como un agente inteligente y emplea el aprendizaje por refuerzo multiagente para coordinar el movimiento de las cuatro patas. Esta descomposición satisface las condiciones para utilizar políticas de movimiento riemanniano y elimina la necesidad de funciones de recompensa complejas, simplificando el proceso de aprendizaje para modalidades de movimiento de alto nivel. Nuestros experimentos de simulación demuestran que el método propuesto permite a los robots cuadrúpedes aprender locomoción estable utilizando tres, dos o incluso una sola pierna, ofreciendo ventajas en velocidad de entrenamiento, tasa de éxito y estabilidad en comparación con enfoques tradicionales, y mejor interpretabilidad. Esta investigación explora la posibilidad de desarrollar políticas de control más eficientes y adaptables para robots cuadrúpedes.
Descripción
Los avances recientes en robótica cuadrúpedes han explorado el potencial motor de estas máquinas más allá de la simple caminata, permitiendo habilidades altamente dinámicas como saltos, volteretas y incluso locomoción bípeda. Si bien el aprendizaje por refuerzo ha demostrado un excelente rendimiento en este ámbito, a menudo depende de la sintonización compleja de funciones de recompensa y de tiempos de entrenamiento prolongados, y la interpretabilidad no es satisfactoria. Las políticas de movimiento riemanniano, un método de control reactivo, sobresalen en el manejo de sistemas altamente dinámicos, pero generalmente están limitadas a sistemas completamente actuados, lo que hace que su aplicación a robots cuadrúpedes subactuados sea un desafío. Para abordar estas limitaciones, proponemos un nuevo marco que trata cada pierna de un robot cuadrúpedo como un agente inteligente y emplea el aprendizaje por refuerzo multiagente para coordinar el movimiento de las cuatro patas. Esta descomposición satisface las condiciones para utilizar políticas de movimiento riemanniano y elimina la necesidad de funciones de recompensa complejas, simplificando el proceso de aprendizaje para modalidades de movimiento de alto nivel. Nuestros experimentos de simulación demuestran que el método propuesto permite a los robots cuadrúpedes aprender locomoción estable utilizando tres, dos o incluso una sola pierna, ofreciendo ventajas en velocidad de entrenamiento, tasa de éxito y estabilidad en comparación con enfoques tradicionales, y mejor interpretabilidad. Esta investigación explora la posibilidad de desarrollar políticas de control más eficientes y adaptables para robots cuadrúpedes.