logo móvil
Contáctanos

Red de Fusión Multi-Modal Guiada por Degradación para Super-Resolución de Mapas de Profundidad

Autores: Han, Lu; Wang, Xinghu; Zhou, Fuhui; Wu, Diansheng

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

Red de Fusión Multi-Modal Guiada por Degradación para Super-Resolución de Mapas de Profundidad


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Mapa de profundidad
Super resolución
Degradación
Red de fusión multimodal
Imágenes a color
Restauración.

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 32

Citaciones: Sin citaciones


Descripción
La mapas de profundidad de súper resolución (DSR) es una técnica destinada a restaurar mapas de profundidad de alta resolución (HR) a partir de mapas de profundidad de baja resolución (LR). En este proceso, las imágenes en color se utilizan comúnmente como guía para mejorar el procedimiento de restauración. Sin embargo, la intrincada degradación de LR depth plantea un desafío, y enfoques anteriores de DSR guiados por imágenes, que modelan implícitamente la degradación en el dominio espacial, a menudo no logran producir resultados satisfactorios. Para abordar este desafío, proponemos un enfoque novedoso llamado Red de Fusión Multi-modal Guiada por Degradación (DMFNet). DMFNet caracteriza explícitamente la degradación e incorpora la fusión multi-modal en los dominios espacial y de frecuencia para mejorar la calidad de la profundidad. Específicamente, primero introducimos la función de pérdida de regularización de degradación profunda, que permite que el modelo aprenda la degradación explícita de los mapas de profundidad LR. Simultáneamente, DMFNet convierte las imágenes en color y los mapas de profundidad en representaciones de espectro para proporcionar una guía multi-dominio integral. En consecuencia, presentamos el bloque de fusión multi-modal para restaurar los mapas de profundidad aprovechando tanto las representaciones de espectro RGB-D como la degradación de profundidad. Experimentos extensos demuestran que DMFNet logra un rendimiento de última generación (SoTA) en cuatro conjuntos de datos de referencia, a saber, los conjuntos de datos NYU-v2, Middlebury, Lu y RGB-D-D.

Otros recursos que podrían interesarte

Temas Virtualpro