Conocimiento de destilación para procesamiento de señales de imagen usando solo la porción generadora de una GAN
Autores: Heo, Youngjun; Lee, Sunggu
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Conocimiento de destilación para procesamiento de señales de imagen usando solo la porción generadora de una GAN
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Destilación de conocimiento
Red estudiantil
Red Generativa Adversaria
GAN
Imágenes sintéticas
Red docente
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 28
Citaciones: Sin citaciones
La destilación del conocimiento, en la cual los valores de parámetros aprendidos en una red de profesor grande se transfieren a una red de estudiante más pequeña, es un método popular y efectivo de compresión de red. Recientemente, los investigadores han propuesto métodos para mejorar el rendimiento de una red de estudiante utilizando una Red Adversaria Generativa (GAN). Sin embargo, debido a que una GAN es una arquitectura que se utiliza idealmente para crear imágenes sintéticas, una arquitectura pura de GAN puede ser ideal para la destilación del conocimiento. En la destilación del conocimiento para el procesamiento de señales de imagen, las imágenes sintéticas no necesitan ser realistas, sino que deben incluir características que ayuden al entrenamiento de la red de estudiante. En el método propuesto de Procesamiento de Imágenes Generativas (GIP), esto se logra utilizando la parte generadora de una GAN y aprovechando técnicas especiales para capturar la capacidad de características distintivas de la red de profesor. Los resultados experimentales muestran que el método GIP supera a la destilación del conocimiento utilizando GANs, así como al entrenamiento utilizando únicamente la destilación del conocimiento.
Descripción
La destilación del conocimiento, en la cual los valores de parámetros aprendidos en una red de profesor grande se transfieren a una red de estudiante más pequeña, es un método popular y efectivo de compresión de red. Recientemente, los investigadores han propuesto métodos para mejorar el rendimiento de una red de estudiante utilizando una Red Adversaria Generativa (GAN). Sin embargo, debido a que una GAN es una arquitectura que se utiliza idealmente para crear imágenes sintéticas, una arquitectura pura de GAN puede ser ideal para la destilación del conocimiento. En la destilación del conocimiento para el procesamiento de señales de imagen, las imágenes sintéticas no necesitan ser realistas, sino que deben incluir características que ayuden al entrenamiento de la red de estudiante. En el método propuesto de Procesamiento de Imágenes Generativas (GIP), esto se logra utilizando la parte generadora de una GAN y aprovechando técnicas especiales para capturar la capacidad de características distintivas de la red de profesor. Los resultados experimentales muestran que el método GIP supera a la destilación del conocimiento utilizando GANs, así como al entrenamiento utilizando únicamente la destilación del conocimiento.