La técnica de reinicio de pesos para redes neuronales profundas implica regularización
Autores: Plusch, Grigoriy; Arsenyev-Obraztsov, Sergey; Kochueva, Olga
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
La técnica de reinicio de pesos para redes neuronales profundas implica regularización
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Método de regularización
Reinicio de pesos
Pesos de capa
Proceso de entrenamiento
Conjuntos de datos de clasificación
Rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
Presentamos un nuevo método de regularización llamado Reinicio de Pesos, que incluye restablecer periódicamente una porción aleatoria de los pesos de las capas durante el proceso de entrenamiento utilizando distribuciones de probabilidad predefinidas. Esta técnica se aplicó y probó en varios conjuntos de datos de clasificación populares, Caltech-101, CIFAR-100 e Imagenette. Comparamos estos resultados con otros métodos de regularización tradicionales. Los resultados de las pruebas posteriores demuestran que el método de Reinicio de Pesos es competitivo, logrando el mejor rendimiento en el conjunto de datos de Imagenette y en el desafiante y desequilibrado conjunto de datos de Caltech-101. Este método también tiene un potencial suficiente para prevenir gradientes que desaparecen y explotan. Sin embargo, este análisis es de naturaleza breve. Se necesitan estudios más exhaustivos para obtener una comprensión profunda del potencial de computación y las limitaciones del método de Reinicio de Pesos. Los resultados observados muestran que el método de Reinicio de Pesos puede considerarse como una extensión efectiva de los métodos de regularización tradicionales y puede ayudar a mejorar el rendimiento y la generalización del modelo.
Descripción
Presentamos un nuevo método de regularización llamado Reinicio de Pesos, que incluye restablecer periódicamente una porción aleatoria de los pesos de las capas durante el proceso de entrenamiento utilizando distribuciones de probabilidad predefinidas. Esta técnica se aplicó y probó en varios conjuntos de datos de clasificación populares, Caltech-101, CIFAR-100 e Imagenette. Comparamos estos resultados con otros métodos de regularización tradicionales. Los resultados de las pruebas posteriores demuestran que el método de Reinicio de Pesos es competitivo, logrando el mejor rendimiento en el conjunto de datos de Imagenette y en el desafiante y desequilibrado conjunto de datos de Caltech-101. Este método también tiene un potencial suficiente para prevenir gradientes que desaparecen y explotan. Sin embargo, este análisis es de naturaleza breve. Se necesitan estudios más exhaustivos para obtener una comprensión profunda del potencial de computación y las limitaciones del método de Reinicio de Pesos. Los resultados observados muestran que el método de Reinicio de Pesos puede considerarse como una extensión efectiva de los métodos de regularización tradicionales y puede ayudar a mejorar el rendimiento y la generalización del modelo.