logo móvil
Contáctanos

Tuner de Tasa de Aprendizaje con Adaptación Relativa (LRT-RA): Camino hacia la Computación Sostenible

Autores: Biswas, Saptarshi; Dey, Sumagna; Nath, Subhrapratim

Idioma: Inglés

Editor: MDPI

Año: 2025

Descargar PDF

Acceso abierto

Artículo científico
2025

Tuner de Tasa de Aprendizaje con Adaptación Relativa (LRT-RA): Camino hacia la Computación Sostenible


Categoría

Matemáticas

Subcategoría

Matemáticas aplicadas

Palabras clave

Tasas de aprendizaje
Aprendizaje profundo
LR
Programación de tasas de aprendizaje
Tasa de aprendizaje adaptativa
LRT-RA

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 26

Citaciones: Sin citaciones


Descripción
Optimizar las tasas de aprendizaje (LRs) en el aprendizaje profundo (DL) ha sido un desafío durante mucho tiempo. Las soluciones anteriores, como la programación de tasas de aprendizaje (LRS) y algoritmos de tasa de aprendizaje adaptativa (ALR) como RMSProp y Adam, añadieron complejidad al introducir nuevos hiperparámetros, aumentando así el costo del entrenamiento del modelo a través de costosos experimentos de validación cruzada. Estos métodos se centran principalmente en patrones de gradiente locales, que pueden no ser efectivos en escenarios con múltiples óptimos locales cerca del óptimo global. Se introduce una nueva técnica llamada Ajustador de Tasa de Aprendizaje con Adaptación Relativa (LRT-RA) para abordar estos problemas. Este enfoque ajusta dinámicamente las LRs durante el entrenamiento al analizar la curva de pérdida global, eliminando la necesidad de una costosa estimación inicial de LR a través de validación cruzada. Este método reduce los gastos de entrenamiento y la huella de carbono y mejora la eficiencia del entrenamiento. Demuestra resultados prometedores en la prevención de la convergencia prematura, exhibiendo un comportamiento de optimización inherente y elucidando la correlación entre la distribución del conjunto de datos y la selección óptima de LR. El método propuesto logra una precisión del 84.96% en el conjunto de datos CIFAR-10 mientras reduce el consumo de energía a 0.07 kWh, las emisiones a 0.05 y ambas emisiones a 0.00003 libras, durante todo el proceso de entrenamiento y prueba.

Otros recursos que podrían interesarte

Temas Virtualpro