logo móvil
Contáctanos

Dropout Adaptativo Espectral: Regularización Basada en Frecuencia para una Mejora en la Generalización

Autores: Huang, Zhigao; Chen, Musheng; Zheng, Shiyan

Idioma: Inglés

Editor: MDPI

Año: 2025

Descargar PDF

Acceso abierto

Artículo científico
2025

Dropout Adaptativo Espectral: Regularización Basada en Frecuencia para una Mejora en la Generalización


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Redes neuronales
Sobreajuste
Técnicas de regularización
Dropout Adaptativo Espectral
Basado en frecuencia
Gradientes de red

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
Las redes neuronales profundas son a menudo susceptibles al sobreajuste, lo que requiere técnicas de regularización efectivas. Este artículo presenta el Dropout Adaptativo Espectral, una novedosa técnica de regularización basada en la frecuencia que ajusta dinámicamente las tasas de dropout según las características espectrales de los gradientes de la red. El enfoque propuesto aborda las limitaciones de los métodos de dropout tradicionales al dirigirse de manera adaptativa a los componentes de alta frecuencia que típicamente contribuyen al sobreajuste, mientras se preserva la información esencial de baja frecuencia. A través de una extensa experimentación en tareas de modelado de lenguaje a nivel de caracteres, el estudio demuestra que el método logra una mejora del 1.10% en la pérdida de validación mientras mantiene velocidades de inferencia competitivas. Esta investigación explora varias implementaciones, incluyendo análisis basado en FFT, descomposición en wavelets y adaptación por cabeza de atención, culminando en un enfoque optimizado que equilibra la eficiencia computacional con la efectividad de la regularización. Nuestros resultados destacan el significativo potencial de incorporar información del dominio de la frecuencia en las estrategias de regularización para redes neuronales profundas.

Otros recursos que podrían interesarte

Temas Virtualpro