Mapa de profundidad de superresolución basado en redes de convolución deformable semi-acopladas
Autores: Liu, Botao; Chen, Kai; Peng, Sheng-Lung; Zhao, Ming
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Mapa de profundidad de superresolución basado en redes de convolución deformable semi-acopladas
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Imágenes de profundidad
Modelos de estimación de profundidad
Discontinuidades de profundidad
Red de convolución deformable semiacoplada
Súper resolución de mapas de profundidad guiados
Atención de Coordenadas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 46
Citaciones: Sin citaciones
Las imágenes de profundidad obtenidas de modelos de estimación de profundidad en tiempo real y sensores orientados al consumidor suelen tener problemas de baja resolución. Los métodos tradicionales de interpolación para aumentar la resolución de la imagen de profundidad resultan en una pérdida significativa de información, especialmente en los bordes con variaciones de profundidad discontinuas (discontinuidades de profundidad). Para abordar este problema, este artículo propone una red de convolución deformable semi-acoplada (SCD-Net) basada en la idea de superresolución guiada del mapa de profundidad (GDSR). El método emplea un esquema de extracción de características semi-acopladas para aprender características únicas y similares entre imágenes RGB e imágenes de profundidad. Utilizamos una Atención de Coordenadas (CA) para suprimir información redundante en las características de RGB. Finalmente, se emplea un módulo de convolución deformable para restaurar la resolución original de la imagen de profundidad. El modelo se prueba en NYUv2, Middlebury, Lu y un conjunto de datos del mundo real de Real-Sense creado utilizando una cámara de luz estructurada Intel RealSense D455. La precisión de superresolución de SCD-Net en múltiples escalas es mucho mayor que la de los métodos tradicionales y superior a los modelos de vanguardia más recientes (SOTA), lo que demuestra la efectividad y flexibilidad de nuestro modelo en tareas de GDSR. En particular, nuestro método resuelve aún más el problema de una textura RGB que se transfiere en exceso en las tareas de GDSR.
Descripción
Las imágenes de profundidad obtenidas de modelos de estimación de profundidad en tiempo real y sensores orientados al consumidor suelen tener problemas de baja resolución. Los métodos tradicionales de interpolación para aumentar la resolución de la imagen de profundidad resultan en una pérdida significativa de información, especialmente en los bordes con variaciones de profundidad discontinuas (discontinuidades de profundidad). Para abordar este problema, este artículo propone una red de convolución deformable semi-acoplada (SCD-Net) basada en la idea de superresolución guiada del mapa de profundidad (GDSR). El método emplea un esquema de extracción de características semi-acopladas para aprender características únicas y similares entre imágenes RGB e imágenes de profundidad. Utilizamos una Atención de Coordenadas (CA) para suprimir información redundante en las características de RGB. Finalmente, se emplea un módulo de convolución deformable para restaurar la resolución original de la imagen de profundidad. El modelo se prueba en NYUv2, Middlebury, Lu y un conjunto de datos del mundo real de Real-Sense creado utilizando una cámara de luz estructurada Intel RealSense D455. La precisión de superresolución de SCD-Net en múltiples escalas es mucho mayor que la de los métodos tradicionales y superior a los modelos de vanguardia más recientes (SOTA), lo que demuestra la efectividad y flexibilidad de nuestro modelo en tareas de GDSR. En particular, nuestro método resuelve aún más el problema de una textura RGB que se transfiere en exceso en las tareas de GDSR.