Mfsr: modelo de super resolución espacial de imágenes de campo de luz integrado con múltiples características
Autores: Zhou, Jianfei; Wang, Hongbing
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Mfsr: modelo de super resolución espacial de imágenes de campo de luz integrado con múltiples características
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Campo de luz
Cámaras
Super resolución
Modelo
Características
Rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 32
Citaciones: Sin citaciones
Las cámaras de campo de luz (LF) pueden capturar información angular y espacial simultáneamente, lo que las hace adecuadas para una amplia gama de aplicaciones como el enfoque, la estimación de disparidad y la realidad virtual. Sin embargo, la resolución espacial limitada de las imágenes LF dificulta su aplicabilidad. Para abordar este problema, proponemos un modelo de superresolución de campo de luz (LFSR) basado en aprendizaje de extremo a extremo llamado MFSR, que integra múltiples características, incluidas características espaciales, angulares, imágenes de plano epipolar (EPI) y características globales. Estas características se extraen por separado de la imagen LF y luego se fusionan para obtener una característica integral utilizando el Bloque de Extracción de Características (FE Block) de manera iterativa. Se agrega una pérdida de gradiente a la función de pérdida para garantizar que el MFSR tenga un buen rendimiento para imágenes LF con texturas ricas. Los resultados experimentales en conjuntos de datos sintéticos y del mundo real demuestran que el método propuesto supera a otros métodos de vanguardia, con una mejora en el pico de relación señal-ruido (PSNR) de 0.208 dB y 0.274 dB en promedio para las tareas de superresolución 2x y 4x, y similitud estructural (SSIM) con mejoras de 0.01 en promedio.
Descripción
Las cámaras de campo de luz (LF) pueden capturar información angular y espacial simultáneamente, lo que las hace adecuadas para una amplia gama de aplicaciones como el enfoque, la estimación de disparidad y la realidad virtual. Sin embargo, la resolución espacial limitada de las imágenes LF dificulta su aplicabilidad. Para abordar este problema, proponemos un modelo de superresolución de campo de luz (LFSR) basado en aprendizaje de extremo a extremo llamado MFSR, que integra múltiples características, incluidas características espaciales, angulares, imágenes de plano epipolar (EPI) y características globales. Estas características se extraen por separado de la imagen LF y luego se fusionan para obtener una característica integral utilizando el Bloque de Extracción de Características (FE Block) de manera iterativa. Se agrega una pérdida de gradiente a la función de pérdida para garantizar que el MFSR tenga un buen rendimiento para imágenes LF con texturas ricas. Los resultados experimentales en conjuntos de datos sintéticos y del mundo real demuestran que el método propuesto supera a otros métodos de vanguardia, con una mejora en el pico de relación señal-ruido (PSNR) de 0.208 dB y 0.274 dB en promedio para las tareas de superresolución 2x y 4x, y similitud estructural (SSIM) con mejoras de 0.01 en promedio.