Una red de estimación de postura CoS-PVNet robusta en escenarios complejos
Autores: Yong, Jiu; Lei, Xiaomei; Dang, Jianwu; Wang, Yangping
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Una red de estimación de postura CoS-PVNet robusta en escenarios complejos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Estimación de la posición en 6 dimensiones de objetos
Realidad aumentada
Realidad virtual
Robótica
Conducción autónoma
Escenas complejas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
La estimación de la posición 6D de objetos, como tecnología clave en aplicaciones como la realidad aumentada (AR), la realidad virtual (VR), la robótica y la conducción autónoma, requiere la predicción de la posición 3D y la pose 3D de objetos de forma robusta a partir de imágenes de escenas complejas. Sin embargo, factores ambientales complejos como la oclusión, el ruido, la textura débil y los cambios de iluminación pueden afectar la precisión y robustez de la estimación de la pose 6D de objetos. Proponemos una red de estimación de pose CoS-PVNet (red de votación píxel a píxel para escenarios complejos) robusta para escenas complejas. Al agregar una capa de peso de píxeles basada en la red PVNet, se seleccionan vectores de puntos de píxeles más precisos, y se utilizan estrategias de convolución dilatada y ponderación adaptativa para capturar información contextual local y global del mapa de características de entrada. Al mismo tiempo, se utiliza el algoritmo de localización de perspectiva-n-puntos para ubicar con precisión puntos clave 2D para resolver la pose de objetos 6D, y luego se resuelve la matriz de relación de transformación de proyección de pose 6D. Los resultados de la investigación indican que en los conjuntos de datos LineMod y Occlusion LineMod, CoS-PVNet tiene una alta precisión y puede lograr una estimación de pose 6D estable y robusta incluso en escenas complejas.
Descripción
La estimación de la posición 6D de objetos, como tecnología clave en aplicaciones como la realidad aumentada (AR), la realidad virtual (VR), la robótica y la conducción autónoma, requiere la predicción de la posición 3D y la pose 3D de objetos de forma robusta a partir de imágenes de escenas complejas. Sin embargo, factores ambientales complejos como la oclusión, el ruido, la textura débil y los cambios de iluminación pueden afectar la precisión y robustez de la estimación de la pose 6D de objetos. Proponemos una red de estimación de pose CoS-PVNet (red de votación píxel a píxel para escenarios complejos) robusta para escenas complejas. Al agregar una capa de peso de píxeles basada en la red PVNet, se seleccionan vectores de puntos de píxeles más precisos, y se utilizan estrategias de convolución dilatada y ponderación adaptativa para capturar información contextual local y global del mapa de características de entrada. Al mismo tiempo, se utiliza el algoritmo de localización de perspectiva-n-puntos para ubicar con precisión puntos clave 2D para resolver la pose de objetos 6D, y luego se resuelve la matriz de relación de transformación de proyección de pose 6D. Los resultados de la investigación indican que en los conjuntos de datos LineMod y Occlusion LineMod, CoS-PVNet tiene una alta precisión y puede lograr una estimación de pose 6D estable y robusta incluso en escenas complejas.