Un Agente de Aprendizaje por Refuerzo de Red Neuronal Espiking Híbrido para la Manipulación de Objetos Eficiente en Energía
Autores: Oikonomou, Katerina Maria; Kansizoglou, Ioannis; Gasteratos, Antonios
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un Agente de Aprendizaje por Refuerzo de Red Neuronal Espiking Híbrido para la Manipulación de Objetos Eficiente en Energía
Categoría
Tecnología de Equipos y Accesorios
Subcategoría
Diseño de equipos y herramientas
Palabras clave
Robótica
Aprendizaje profundo por refuerzo
Redes neuronales de picos
Manipulación robótica
Gradiente de política determinista profunda
Eficiente en energía
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 22
Citaciones: Sin citaciones
Debido a la amplia difusión de las tecnologías robóticas en las actividades cotidianas, desde la automatización industrial hasta las aplicaciones de vida asistida en el hogar, se investigan intensamente técnicas de vanguardia como el aprendizaje por refuerzo profundo con el objetivo de avanzar en la frontera tecnológica de la robótica. La limitación obligatoria del consumo de energía sigue siendo un desafío abierto en la robótica contemporánea, especialmente en aplicaciones del mundo real. Las redes neuronales de picos (SNN) constituyen un compromiso ideal como una herramienta computacional potente con capacidades de bajo consumo. Este documento presenta un actor de red neuronal de picos para una tarea básica de manipulación robótica utilizando un agarre de dos dedos. Para lograrlo, utilizamos un algoritmo híbrido de gradiente de política determinista profunda (DDPG) diseñado con un actor de picos y una red crítica profunda para entrenar al agente robótico. Así, el agente aprende a obtener las políticas óptimas para las tres tareas principales del enfoque de manipulación robótica: alcanzar el objeto objetivo, agarrar y transferir. El método propuesto tiene una de las principales ventajas que posee una SNN, a saber, su capacidad de implementación en hardware neuromórfico que resulta en implementaciones energéticamente eficientes. Este último logro se demuestra de manera destacada en los resultados de evaluación del actor SNN, ya que la red crítica profunda se utilizó solo durante el entrenamiento. Con el objetivo de mostrar aún más las capacidades del enfoque introducido, comparamos nuestro modelo con el bien establecido algoritmo DDPG.
Descripción
Debido a la amplia difusión de las tecnologías robóticas en las actividades cotidianas, desde la automatización industrial hasta las aplicaciones de vida asistida en el hogar, se investigan intensamente técnicas de vanguardia como el aprendizaje por refuerzo profundo con el objetivo de avanzar en la frontera tecnológica de la robótica. La limitación obligatoria del consumo de energía sigue siendo un desafío abierto en la robótica contemporánea, especialmente en aplicaciones del mundo real. Las redes neuronales de picos (SNN) constituyen un compromiso ideal como una herramienta computacional potente con capacidades de bajo consumo. Este documento presenta un actor de red neuronal de picos para una tarea básica de manipulación robótica utilizando un agarre de dos dedos. Para lograrlo, utilizamos un algoritmo híbrido de gradiente de política determinista profunda (DDPG) diseñado con un actor de picos y una red crítica profunda para entrenar al agente robótico. Así, el agente aprende a obtener las políticas óptimas para las tres tareas principales del enfoque de manipulación robótica: alcanzar el objeto objetivo, agarrar y transferir. El método propuesto tiene una de las principales ventajas que posee una SNN, a saber, su capacidad de implementación en hardware neuromórfico que resulta en implementaciones energéticamente eficientes. Este último logro se demuestra de manera destacada en los resultados de evaluación del actor SNN, ya que la red crítica profunda se utilizó solo durante el entrenamiento. Con el objetivo de mostrar aún más las capacidades del enfoque introducido, comparamos nuestro modelo con el bien establecido algoritmo DDPG.