Dropout Adaptativo Espectral: Regularización Basada en Frecuencia para una Mejora en la Generalización
Autores: Huang, Zhigao; Chen, Musheng; Zheng, Shiyan
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Dropout Adaptativo Espectral: Regularización Basada en Frecuencia para una Mejora en la Generalización
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Redes neuronales
Sobreajuste
Técnicas de regularización
Dropout Adaptativo Espectral
Basado en frecuencia
Gradientes de red
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Las redes neuronales profundas son a menudo susceptibles al sobreajuste, lo que requiere técnicas de regularización efectivas. Este artículo presenta el Dropout Adaptativo Espectral, una novedosa técnica de regularización basada en la frecuencia que ajusta dinámicamente las tasas de dropout según las características espectrales de los gradientes de la red. El enfoque propuesto aborda las limitaciones de los métodos de dropout tradicionales al dirigirse de manera adaptativa a los componentes de alta frecuencia que típicamente contribuyen al sobreajuste, mientras se preserva la información esencial de baja frecuencia. A través de una extensa experimentación en tareas de modelado de lenguaje a nivel de caracteres, el estudio demuestra que el método logra una mejora del 1.10% en la pérdida de validación mientras mantiene velocidades de inferencia competitivas. Esta investigación explora varias implementaciones, incluyendo análisis basado en FFT, descomposición en wavelets y adaptación por cabeza de atención, culminando en un enfoque optimizado que equilibra la eficiencia computacional con la efectividad de la regularización. Nuestros resultados destacan el significativo potencial de incorporar información del dominio de la frecuencia en las estrategias de regularización para redes neuronales profundas.
Descripción
Las redes neuronales profundas son a menudo susceptibles al sobreajuste, lo que requiere técnicas de regularización efectivas. Este artículo presenta el Dropout Adaptativo Espectral, una novedosa técnica de regularización basada en la frecuencia que ajusta dinámicamente las tasas de dropout según las características espectrales de los gradientes de la red. El enfoque propuesto aborda las limitaciones de los métodos de dropout tradicionales al dirigirse de manera adaptativa a los componentes de alta frecuencia que típicamente contribuyen al sobreajuste, mientras se preserva la información esencial de baja frecuencia. A través de una extensa experimentación en tareas de modelado de lenguaje a nivel de caracteres, el estudio demuestra que el método logra una mejora del 1.10% en la pérdida de validación mientras mantiene velocidades de inferencia competitivas. Esta investigación explora varias implementaciones, incluyendo análisis basado en FFT, descomposición en wavelets y adaptación por cabeza de atención, culminando en un enfoque optimizado que equilibra la eficiencia computacional con la efectividad de la regularización. Nuestros resultados destacan el significativo potencial de incorporar información del dominio de la frecuencia en las estrategias de regularización para redes neuronales profundas.