Método de procesamiento de oclusión virtual y real de escenas de ensamblaje visual monocular basado en ORB-SLAM3
Autores: Xu, Hanzhong; Chen, Chunping; Yin, Qingqing; Ma, Chao; Guo, Feiyan
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Método de procesamiento de oclusión virtual y real de escenas de ensamblaje visual monocular basado en ORB-SLAM3
Categoría
Tecnología de Equipos y Accesorios
Subcategoría
Diseño de equipos y herramientas
Palabras clave
Información de profundidad
Visión monocular
ORB-SLAM3
Oclusión virtual
Oclusión real
MNSTF
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 19
Citaciones: Sin citaciones
Abordando el desafío de adquirir información de profundidad en escenas de ensamblaje de motores aéreos utilizando visión monocular, lo que complica el procesamiento de oclusión virtual y real en realidad mixta (RM), proponemos un método de procesamiento de oclusión virtual y real en escenas de ensamblaje basado en ORB-SLAM3. El método propone optimizar ORB-SLAM3 para la coincidencia y reconstrucción de puntos de profundidad utilizando el algoritmo MNSTF. MNSTF puede resolver los problemas de extracción y coincidencia de puntos de características en escenas débilmente texturizadas y sin textura al expresar la información de estructura y textura de las imágenes locales. Luego se propone densificar el mapa de profundidad escaso utilizando el método de interpolación de doble tres, y se crea el mapa de profundidad completo de la escena real combinando la información de profundidad del modelo 3D en el modelo de proceso. Finalmente, al comparar los valores de profundidad de cada punto de píxel en los mapas de profundidad de la escena real y virtual, se muestra correctamente la relación de oclusión virtual de la escena de ensamblaje. Se realizó una validación experimental con un escenario de ensamblaje de conector de tubería de motor aéreo y se comparó con los métodos de Holynski y Kinect. Los resultados mostraron que en términos de precisión de oclusión virtual y real, la mejora promedio fue de 2.2 y 3.4 puntos de píxel, respectivamente. En términos de rendimiento en tiempo real, la tasa de fotogramas en tiempo real del método de este documento puede alcanzar 42.4 FPS, una mejora del 77.4% y 87.6%, respectivamente. Esto demuestra que el método en este documento tiene un buen rendimiento en términos de precisión y puntualidad de la oclusión virtual y real. Este estudio demuestra además que el método propuesto puede abordar eficazmente los desafíos del procesamiento de oclusión virtual y real en visión monocular dentro del contexto de procesos de ensamblaje asistidos por realidad mixta.
Descripción
Abordando el desafío de adquirir información de profundidad en escenas de ensamblaje de motores aéreos utilizando visión monocular, lo que complica el procesamiento de oclusión virtual y real en realidad mixta (RM), proponemos un método de procesamiento de oclusión virtual y real en escenas de ensamblaje basado en ORB-SLAM3. El método propone optimizar ORB-SLAM3 para la coincidencia y reconstrucción de puntos de profundidad utilizando el algoritmo MNSTF. MNSTF puede resolver los problemas de extracción y coincidencia de puntos de características en escenas débilmente texturizadas y sin textura al expresar la información de estructura y textura de las imágenes locales. Luego se propone densificar el mapa de profundidad escaso utilizando el método de interpolación de doble tres, y se crea el mapa de profundidad completo de la escena real combinando la información de profundidad del modelo 3D en el modelo de proceso. Finalmente, al comparar los valores de profundidad de cada punto de píxel en los mapas de profundidad de la escena real y virtual, se muestra correctamente la relación de oclusión virtual de la escena de ensamblaje. Se realizó una validación experimental con un escenario de ensamblaje de conector de tubería de motor aéreo y se comparó con los métodos de Holynski y Kinect. Los resultados mostraron que en términos de precisión de oclusión virtual y real, la mejora promedio fue de 2.2 y 3.4 puntos de píxel, respectivamente. En términos de rendimiento en tiempo real, la tasa de fotogramas en tiempo real del método de este documento puede alcanzar 42.4 FPS, una mejora del 77.4% y 87.6%, respectivamente. Esto demuestra que el método en este documento tiene un buen rendimiento en términos de precisión y puntualidad de la oclusión virtual y real. Este estudio demuestra además que el método propuesto puede abordar eficazmente los desafíos del procesamiento de oclusión virtual y real en visión monocular dentro del contexto de procesos de ensamblaje asistidos por realidad mixta.