Una función de activación de desplazamiento adaptativo para tareas de clasificación de imágenes CNN
Autores: Jiang, Yuanyuan; Xie, Jinyang; Zhang, Dong
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Una función de activación de desplazamiento adaptativo para tareas de clasificación de imágenes CNN
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Función de activación
Funciones de activación paramétricas
Precisión en la clasificación de imágenes
ReLU
Función de activación de desplazamiento adaptativo
Extracción de características de CNN
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 24
Citaciones: Sin citaciones
El rendimiento de la función de activación en redes neuronales convolucionales está directamente relacionado con la precisión de clasificación de imágenes del modelo. La función de activación de unidad lineal rectificada (ReLU) ha sido ampliamente utilizada en modelos de clasificación de imágenes pero tiene importantes deficiencias, incluida una baja precisión de clasificación. El rendimiento de una serie de funciones de activación paramétricas ha convertido la adición de parámetros en una popular vía de investigación para mejorar el rendimiento de las funciones de activación en los últimos años, y se han logrado excelentes avances. Las funciones de activación paramétricas existentes a menudo se centran en asignar una pendiente diferente a la parte negativa de la función de activación y aún involucran solo el valor negativo en el cálculo de la función de activación, sin considerar el impacto de vincular el valor negativo al valor positivo en el rendimiento de la función de activación. Como resultado, este trabajo propone una nueva función de activación de desplazamiento derecho paramétrica, la función de activación de desplazamiento adaptativo (AOAF). Al insertar un parámetro adaptativo (el valor medio del tensor de características de entrada) y dos parámetros ReLU personalizados, los parámetros negativos previamente llevados a cero por ReLU pueden convertirse en parámetros positivos con menor peso y participar en la extracción de características de CNN. Comparamos el rendimiento de la función de activación sugerida con el rendimiento de una selección de funciones de activación típicas utilizando cuatro conjuntos de datos públicos distintos. En comparación con ReLU, la precisión promedio de clasificación de nuestra función de activación propuesta mejoró en un 3,82%, 0,6%, 1,02% y 4,8% para los cuatro conjuntos de datos, respectivamente.
Descripción
El rendimiento de la función de activación en redes neuronales convolucionales está directamente relacionado con la precisión de clasificación de imágenes del modelo. La función de activación de unidad lineal rectificada (ReLU) ha sido ampliamente utilizada en modelos de clasificación de imágenes pero tiene importantes deficiencias, incluida una baja precisión de clasificación. El rendimiento de una serie de funciones de activación paramétricas ha convertido la adición de parámetros en una popular vía de investigación para mejorar el rendimiento de las funciones de activación en los últimos años, y se han logrado excelentes avances. Las funciones de activación paramétricas existentes a menudo se centran en asignar una pendiente diferente a la parte negativa de la función de activación y aún involucran solo el valor negativo en el cálculo de la función de activación, sin considerar el impacto de vincular el valor negativo al valor positivo en el rendimiento de la función de activación. Como resultado, este trabajo propone una nueva función de activación de desplazamiento derecho paramétrica, la función de activación de desplazamiento adaptativo (AOAF). Al insertar un parámetro adaptativo (el valor medio del tensor de características de entrada) y dos parámetros ReLU personalizados, los parámetros negativos previamente llevados a cero por ReLU pueden convertirse en parámetros positivos con menor peso y participar en la extracción de características de CNN. Comparamos el rendimiento de la función de activación sugerida con el rendimiento de una selección de funciones de activación típicas utilizando cuatro conjuntos de datos públicos distintos. En comparación con ReLU, la precisión promedio de clasificación de nuestra función de activación propuesta mejoró en un 3,82%, 0,6%, 1,02% y 4,8% para los cuatro conjuntos de datos, respectivamente.