Eficiente arquitectura de red neuronal binaria FPGA para superresolución de imágenes
Autores: Su, Yuanxin; Seng, Kah Phooi; Smith, Jeremy; Ang, Li Minn
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Eficiente arquitectura de red neuronal binaria FPGA para superresolución de imágenes
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Sistemas de superresolución
Redes neuronales convolucionales
Métodos de aprendizaje profundo
Eficiencia computacional
Consumo de memoria
Superresolución de imágenes
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
Los sistemas de superresolución se refieren a sistemas basados en computadora diseñados para mejorar la calidad de imágenes o videos al producir representaciones de alta resolución a partir de contrapartes de baja resolución utilizando algoritmos computacionales y tecnologías. Diversos métodos y técnicas se han utilizado en el desarrollo de sistemas de superresolución. El desarrollo de Redes Neuronales Convolucionales (CNNs) y los métodos de Aprendizaje Profundo (DL) han superado a los métodos tradicionales. Sin embargo, a medida que los modelos se vuelven cada vez más profundos con campos receptivos más amplios, el número de parámetros aumenta significativamente. Si bien esto a menudo resulta en un mejor rendimiento, hace que estos modelos sean imprácticos para escenarios de la vida real como teléfonos inteligentes u otros sistemas móviles. Actualmente, la mayoría de los métodos propuestos con una calidad perceptual más alta requieren una cantidad sustancial de tiempo para procesar una sola imagen, incluso en hardware potente como las GPUs de NVIDIA. Estos modelos computacionalmente costosos no son rentables para escenarios de aplicación del mundo real. Se necesita optimización para reducir los costos computacionales y los requisitos de memoria para mejorar su idoneidad para configuraciones de hardware menos potentes. En este trabajo, proponemos una arquitectura eficiente de red neuronal binaria, ResBinESPCN, diseñada para superresolución de imágenes. En nuestro diseño, mejoramos la eficiencia energética de la arquitectura a través de optimizaciones algorítmicas y a nivel de hardware. Estas optimizaciones no solo mejoran la eficiencia computacional y reducen el consumo de memoria, sino que también logran una superresolución efectiva de imágenes en entornos con recursos limitados. Nuestra validación experimental destaca la efectividad de esta estructura de red e incluye estudios de ablación en modelos con diferentes anchos de bits de datos. El análisis de hardware respalda la eficiencia y capacidades en tiempo real de este modelo. Además, implementar el modelo en FPGA utilizando FINN demuestra su bajo uso de recursos de hardware y bajo consumo de energía.
Descripción
Los sistemas de superresolución se refieren a sistemas basados en computadora diseñados para mejorar la calidad de imágenes o videos al producir representaciones de alta resolución a partir de contrapartes de baja resolución utilizando algoritmos computacionales y tecnologías. Diversos métodos y técnicas se han utilizado en el desarrollo de sistemas de superresolución. El desarrollo de Redes Neuronales Convolucionales (CNNs) y los métodos de Aprendizaje Profundo (DL) han superado a los métodos tradicionales. Sin embargo, a medida que los modelos se vuelven cada vez más profundos con campos receptivos más amplios, el número de parámetros aumenta significativamente. Si bien esto a menudo resulta en un mejor rendimiento, hace que estos modelos sean imprácticos para escenarios de la vida real como teléfonos inteligentes u otros sistemas móviles. Actualmente, la mayoría de los métodos propuestos con una calidad perceptual más alta requieren una cantidad sustancial de tiempo para procesar una sola imagen, incluso en hardware potente como las GPUs de NVIDIA. Estos modelos computacionalmente costosos no son rentables para escenarios de aplicación del mundo real. Se necesita optimización para reducir los costos computacionales y los requisitos de memoria para mejorar su idoneidad para configuraciones de hardware menos potentes. En este trabajo, proponemos una arquitectura eficiente de red neuronal binaria, ResBinESPCN, diseñada para superresolución de imágenes. En nuestro diseño, mejoramos la eficiencia energética de la arquitectura a través de optimizaciones algorítmicas y a nivel de hardware. Estas optimizaciones no solo mejoran la eficiencia computacional y reducen el consumo de memoria, sino que también logran una superresolución efectiva de imágenes en entornos con recursos limitados. Nuestra validación experimental destaca la efectividad de esta estructura de red e incluye estudios de ablación en modelos con diferentes anchos de bits de datos. El análisis de hardware respalda la eficiencia y capacidades en tiempo real de este modelo. Además, implementar el modelo en FPGA utilizando FINN demuestra su bajo uso de recursos de hardware y bajo consumo de energía.