Imagen en tiempo real de baja iluminación en el espacio basada en la fusión de dominios espaciales y de frecuencia
Autores: Wu, Jiaxin; Zhang, Haifeng; Li, Biao; Duan, Jiaxin; Li, Qianxi; He, Zeyu; Cao, Jianzhong; Wang, Hao
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Imagen en tiempo real de baja iluminación en el espacio basada en la fusión de dominios espaciales y de frecuencia
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Imagen de baja luz
Marco de aprendizaje profundo
Procesamiento paralelo
Aprendizaje de características
Módulo de equilibrio adaptativo
Velocidad de recuperación de imagen
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 51
Citaciones: Sin citaciones
Debido al bajo recuento de fotones en la imagen espacial y a los cuellos de botella de rendimiento de los dispositivos de computación en el borde, se necesita una solución práctica de imágenes con poca luz que mantenga una recuperación satisfactoria al tiempo que ofrezca una latencia de red más baja, un menor uso de memoria, menos parámetros de modelo y menos conteos de operaciones. Por lo tanto, proponemos un marco de aprendizaje profundo en tiempo real para imágenes con poca luz. Aprovechando las capacidades de procesamiento paralelo del hardware, realizamos el procesamiento paralelo de los datos de imagen desde el sensor original a través de ramas con diferentes dimensionalidades. La rama de alta dimensionalidad realiza el aprendizaje de características de alta dimensionalidad en el dominio espacial, mientras que las ramas de media y baja dimensionalidad realizan el aprendizaje de características a nivel de píxel y global a través de la fusión de los dominios espacial y de frecuencia. Este enfoque garantiza un modelo de red ligero mientras mejora significativamente la calidad y velocidad de la recuperación de imágenes. Para ajustar de forma adaptativa la imagen en función del brillo y evitar la pérdida de información detallada de las características de píxeles, introducimos un módulo de equilibrio adaptativo, mejorando así en gran medida la efectividad del modelo. Finalmente, a través de la validación en el conjunto de datos SID y en nuestro propio conjunto de datos de satélites con poca luz, demostramos que este método puede mejorar significativamente la velocidad de recuperación de imágenes garantizando la calidad de recuperación de imágenes.
Descripción
Debido al bajo recuento de fotones en la imagen espacial y a los cuellos de botella de rendimiento de los dispositivos de computación en el borde, se necesita una solución práctica de imágenes con poca luz que mantenga una recuperación satisfactoria al tiempo que ofrezca una latencia de red más baja, un menor uso de memoria, menos parámetros de modelo y menos conteos de operaciones. Por lo tanto, proponemos un marco de aprendizaje profundo en tiempo real para imágenes con poca luz. Aprovechando las capacidades de procesamiento paralelo del hardware, realizamos el procesamiento paralelo de los datos de imagen desde el sensor original a través de ramas con diferentes dimensionalidades. La rama de alta dimensionalidad realiza el aprendizaje de características de alta dimensionalidad en el dominio espacial, mientras que las ramas de media y baja dimensionalidad realizan el aprendizaje de características a nivel de píxel y global a través de la fusión de los dominios espacial y de frecuencia. Este enfoque garantiza un modelo de red ligero mientras mejora significativamente la calidad y velocidad de la recuperación de imágenes. Para ajustar de forma adaptativa la imagen en función del brillo y evitar la pérdida de información detallada de las características de píxeles, introducimos un módulo de equilibrio adaptativo, mejorando así en gran medida la efectividad del modelo. Finalmente, a través de la validación en el conjunto de datos SID y en nuestro propio conjunto de datos de satélites con poca luz, demostramos que este método puede mejorar significativamente la velocidad de recuperación de imágenes garantizando la calidad de recuperación de imágenes.