logo móvil
Contáctanos

La técnica de reinicio de pesos para redes neuronales profundas implica regularización

Autores: Plusch, Grigoriy; Arsenyev-Obraztsov, Sergey; Kochueva, Olga

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

La técnica de reinicio de pesos para redes neuronales profundas implica regularización


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Sistemas

Palabras clave

Método de regularización
Reinicio de pesos
Pesos de capa
Proceso de entrenamiento
Conjuntos de datos de clasificación
Rendimiento

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 33

Citaciones: Sin citaciones


Descripción
Presentamos un nuevo método de regularización llamado Reinicio de Pesos, que incluye restablecer periódicamente una porción aleatoria de los pesos de las capas durante el proceso de entrenamiento utilizando distribuciones de probabilidad predefinidas. Esta técnica se aplicó y probó en varios conjuntos de datos de clasificación populares, Caltech-101, CIFAR-100 e Imagenette. Comparamos estos resultados con otros métodos de regularización tradicionales. Los resultados de las pruebas posteriores demuestran que el método de Reinicio de Pesos es competitivo, logrando el mejor rendimiento en el conjunto de datos de Imagenette y en el desafiante y desequilibrado conjunto de datos de Caltech-101. Este método también tiene un potencial suficiente para prevenir gradientes que desaparecen y explotan. Sin embargo, este análisis es de naturaleza breve. Se necesitan estudios más exhaustivos para obtener una comprensión profunda del potencial de computación y las limitaciones del método de Reinicio de Pesos. Los resultados observados muestran que el método de Reinicio de Pesos puede considerarse como una extensión efectiva de los métodos de regularización tradicionales y puede ayudar a mejorar el rendimiento y la generalización del modelo.

Otros recursos que podrían interesarte

Temas Virtualpro