Métodos de reducción de la tasa de aprendizaje para redes neuronales profundas
Autores: Nakamura, Kensuke; Derbel, Bilel; Won, Kyoung-Jae; Hong, Byung-Woo
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Métodos de reducción de la tasa de aprendizaje para redes neuronales profundas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Redes neuronales
Descenso de gradiente estocástico
Reducción de la tasa de aprendizaje
Clasificación de imágenes
Modelos de redes neuronales profundas
Función sigmoide
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 40
Citaciones: Sin citaciones
Las redes neuronales profundas (DNNs) han logrado un gran éxito en las últimas décadas. DNN se optimiza utilizando el descenso de gradiente estocástico (SGD) con recocido de tasa de aprendizaje que supera a los métodos adaptativos en muchas tareas. Sin embargo, no hay una elección común con respecto al recocido programado para SGD. Este artículo tiene como objetivo presentar un análisis empírico del recocido de la tasa de aprendizaje basado en los resultados experimentales utilizando los principales conjuntos de datos en la clasificación de imágenes, que es una de las aplicaciones clave de las DNNs. Nuestro experimento involucra modelos recientes de redes neuronales profundas en combinación con una variedad de métodos de recocido de tasa de aprendizaje. También proponemos un recocido que combina la función sigmoide con un calentamiento inicial que se muestra que supera tanto a los métodos adaptativos como a los otros horarios existentes en precisión en la mayoría de los casos con DNNs.
Descripción
Las redes neuronales profundas (DNNs) han logrado un gran éxito en las últimas décadas. DNN se optimiza utilizando el descenso de gradiente estocástico (SGD) con recocido de tasa de aprendizaje que supera a los métodos adaptativos en muchas tareas. Sin embargo, no hay una elección común con respecto al recocido programado para SGD. Este artículo tiene como objetivo presentar un análisis empírico del recocido de la tasa de aprendizaje basado en los resultados experimentales utilizando los principales conjuntos de datos en la clasificación de imágenes, que es una de las aplicaciones clave de las DNNs. Nuestro experimento involucra modelos recientes de redes neuronales profundas en combinación con una variedad de métodos de recocido de tasa de aprendizaje. También proponemos un recocido que combina la función sigmoide con un calentamiento inicial que se muestra que supera tanto a los métodos adaptativos como a los otros horarios existentes en precisión en la mayoría de los casos con DNNs.