Estimación de pose de cuerpo completo de robots humanoides utilizando cámaras usadas en la cabeza para la telepresencia robótica humana aumentada digital
Autores: Cho, Youngdae; Son, Wooram; Bak, Jaewan; Lee, Yisoo; Lim, Hwasup; Cha, Youngwoon
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Estimación de pose de cuerpo completo de robots humanoides utilizando cámaras usadas en la cabeza para la telepresencia robótica humana aumentada digital
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Sistema de telepresencia
Interacciones visuales inmersivas
Robot humanoide
Visualización de XR
Experiencia de telepresencia en 3D
Método de estimación de postura
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 46
Citaciones: Sin citaciones
Visualizamos un sistema de telepresencia que mejora el trabajo remoto al facilitar interacciones físicas e inmersivas entre individuos. Sin embargo, durante la teleoperación de robots, la comunicación a menudo carece de realismo, ya que los usuarios ven el cuerpo del robot en lugar del individuo remoto. Para abordar esto, proponemos un método para superponer un modelo humano digital en un robot humanoide utilizando visualización de XR, lo que permite una experiencia inmersiva de telepresencia en 3D. Nuestro enfoque emplea un método basado en aprendizaje para estimar las posturas 2D del robot humanoide a partir de vistas estéreo usadas en la cabeza, aprovechando un conjunto de datos recopilado recientemente de posturas de cuerpo completo para robots humanoides. Las posturas 2D estéreo y las medidas inerciales dispersas del operador remoto se optimizan para calcular posturas 3D a lo largo del tiempo. El humano digital se localiza desde la perspectiva de un observador en movimiento continuo, utilizando la postura 3D estimada del robot humanoide. Nuestro método de estimación de postura basado en cámara en movimiento no depende de marcadores ni de conocimiento externo del estado del robot, superando eficazmente desafíos como la oclusión de marcadores, problemas de calibración y dependencias de errores de seguimiento de auriculares. Demostramos el sistema en un escenario de entrenamiento físico remoto, logrando un rendimiento en tiempo real a 40 fps, lo que permite interacciones inmersivas y físicas simultáneas. Los resultados experimentales muestran que nuestro método de estimación de postura 3D basado en aprendizaje, que opera sin conocimiento previo del robot, supera significativamente en rendimiento a enfoques alternativos que requieren la postura global del robot, especialmente durante movimientos rápidos de la cabeza, logrando una ampliación digital sin marcadores desde vistas usadas en la cabeza.
Descripción
Visualizamos un sistema de telepresencia que mejora el trabajo remoto al facilitar interacciones físicas e inmersivas entre individuos. Sin embargo, durante la teleoperación de robots, la comunicación a menudo carece de realismo, ya que los usuarios ven el cuerpo del robot en lugar del individuo remoto. Para abordar esto, proponemos un método para superponer un modelo humano digital en un robot humanoide utilizando visualización de XR, lo que permite una experiencia inmersiva de telepresencia en 3D. Nuestro enfoque emplea un método basado en aprendizaje para estimar las posturas 2D del robot humanoide a partir de vistas estéreo usadas en la cabeza, aprovechando un conjunto de datos recopilado recientemente de posturas de cuerpo completo para robots humanoides. Las posturas 2D estéreo y las medidas inerciales dispersas del operador remoto se optimizan para calcular posturas 3D a lo largo del tiempo. El humano digital se localiza desde la perspectiva de un observador en movimiento continuo, utilizando la postura 3D estimada del robot humanoide. Nuestro método de estimación de postura basado en cámara en movimiento no depende de marcadores ni de conocimiento externo del estado del robot, superando eficazmente desafíos como la oclusión de marcadores, problemas de calibración y dependencias de errores de seguimiento de auriculares. Demostramos el sistema en un escenario de entrenamiento físico remoto, logrando un rendimiento en tiempo real a 40 fps, lo que permite interacciones inmersivas y físicas simultáneas. Los resultados experimentales muestran que nuestro método de estimación de postura 3D basado en aprendizaje, que opera sin conocimiento previo del robot, supera significativamente en rendimiento a enfoques alternativos que requieren la postura global del robot, especialmente durante movimientos rápidos de la cabeza, logrando una ampliación digital sin marcadores desde vistas usadas en la cabeza.