Aprendizaje profundo basado en red neuronal convolucional de Fourier que incorpora núcleos aleatorios
Autores: Han, Yuna; Hong, Byung-Woo
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Aprendizaje profundo basado en red neuronal convolucional de Fourier que incorpora núcleos aleatorios
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Dominio de Fourier
Redes neuronales convolucionales
Unidad lineal rectificada de fase
Función de activación
Transformada de Fourier desplazada
Parámetros de peso
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 43
Citaciones: Sin citaciones
En los últimos años, las redes neuronales convolucionales han sido estudiadas en el dominio de Fourier para un entorno limitado, donde se pueden esperar resultados competitivos para tareas convencionales de clasificación de imágenes en el dominio espacial. Presentamos una novedosa red neuronal convolucional eficiente en Fourier, donde se utiliza una nueva función de activación, se elimina el proceso adicional de transformación de Fourier de desplazamiento y se reduce el número de parámetros aprendibles. Primero, se propone la Unidad Lineal Rectificada de Fase (PhaseReLU), que es equivalente a la Unidad Lineal Rectificada (ReLU) en el dominio espacial. Segundo, en la red de Fourier propuesta, se elimina la transformación de Fourier de desplazamiento ya que el proceso es innecesario para el entrenamiento. Por último, introducimos dos formas de reducir el número de parámetros de peso en la red de Fourier. El método básico es utilizar un núcleo de tamaño tres por tres en lugar de cinco por cinco en nuestra propuesta de red neuronal convolucional de Fourier. Utilizamos el núcleo aleatorio en nuestra red neuronal convolucional eficiente en Fourier, cuya desviación estándar de la distribución gaussiana se utiliza como parámetro de peso. En otras palabras, dado que solo se requieren dos escalares para cada componente imaginario y real por canal, se aplica un número muy pequeño de parámetros de forma compresiva. Por lo tanto, como resultado de experimentar en redes poco profundas, como LeNet-3 y LeNet-5, nuestro método logra una precisión competitiva con las redes neuronales convolucionales convencionales al reducir drásticamente el número de parámetros. Además, nuestra red de Fourier propuesta, utilizando un núcleo básico de tres por tres, mayormente logra una precisión más alta que las redes neuronales convolucionales tradicionales en redes neuronales poco profundas y profundas. Nuestros experimentos muestran que los métodos de núcleo presentados tienen el potencial de ser aplicados en todas las arquitecturas basadas en redes neuronales convolucionales.
Descripción
En los últimos años, las redes neuronales convolucionales han sido estudiadas en el dominio de Fourier para un entorno limitado, donde se pueden esperar resultados competitivos para tareas convencionales de clasificación de imágenes en el dominio espacial. Presentamos una novedosa red neuronal convolucional eficiente en Fourier, donde se utiliza una nueva función de activación, se elimina el proceso adicional de transformación de Fourier de desplazamiento y se reduce el número de parámetros aprendibles. Primero, se propone la Unidad Lineal Rectificada de Fase (PhaseReLU), que es equivalente a la Unidad Lineal Rectificada (ReLU) en el dominio espacial. Segundo, en la red de Fourier propuesta, se elimina la transformación de Fourier de desplazamiento ya que el proceso es innecesario para el entrenamiento. Por último, introducimos dos formas de reducir el número de parámetros de peso en la red de Fourier. El método básico es utilizar un núcleo de tamaño tres por tres en lugar de cinco por cinco en nuestra propuesta de red neuronal convolucional de Fourier. Utilizamos el núcleo aleatorio en nuestra red neuronal convolucional eficiente en Fourier, cuya desviación estándar de la distribución gaussiana se utiliza como parámetro de peso. En otras palabras, dado que solo se requieren dos escalares para cada componente imaginario y real por canal, se aplica un número muy pequeño de parámetros de forma compresiva. Por lo tanto, como resultado de experimentar en redes poco profundas, como LeNet-3 y LeNet-5, nuestro método logra una precisión competitiva con las redes neuronales convolucionales convencionales al reducir drásticamente el número de parámetros. Además, nuestra red de Fourier propuesta, utilizando un núcleo básico de tres por tres, mayormente logra una precisión más alta que las redes neuronales convolucionales tradicionales en redes neuronales poco profundas y profundas. Nuestros experimentos muestran que los métodos de núcleo presentados tienen el potencial de ser aplicados en todas las arquitecturas basadas en redes neuronales convolucionales.