Tuner de Tasa de Aprendizaje con Adaptación Relativa (LRT-RA): Camino hacia la Computación Sostenible
Autores: Biswas, Saptarshi; Dey, Sumagna; Nath, Subhrapratim
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Tuner de Tasa de Aprendizaje con Adaptación Relativa (LRT-RA): Camino hacia la Computación Sostenible
Categoría
Matemáticas
Subcategoría
Matemáticas aplicadas
Palabras clave
Tasas de aprendizaje
Aprendizaje profundo
LR
Programación de tasas de aprendizaje
Tasa de aprendizaje adaptativa
LRT-RA
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 26
Citaciones: Sin citaciones
Optimizar las tasas de aprendizaje (LRs) en el aprendizaje profundo (DL) ha sido un desafío durante mucho tiempo. Las soluciones anteriores, como la programación de tasas de aprendizaje (LRS) y algoritmos de tasa de aprendizaje adaptativa (ALR) como RMSProp y Adam, añadieron complejidad al introducir nuevos hiperparámetros, aumentando así el costo del entrenamiento del modelo a través de costosos experimentos de validación cruzada. Estos métodos se centran principalmente en patrones de gradiente locales, que pueden no ser efectivos en escenarios con múltiples óptimos locales cerca del óptimo global. Se introduce una nueva técnica llamada Ajustador de Tasa de Aprendizaje con Adaptación Relativa (LRT-RA) para abordar estos problemas. Este enfoque ajusta dinámicamente las LRs durante el entrenamiento al analizar la curva de pérdida global, eliminando la necesidad de una costosa estimación inicial de LR a través de validación cruzada. Este método reduce los gastos de entrenamiento y la huella de carbono y mejora la eficiencia del entrenamiento. Demuestra resultados prometedores en la prevención de la convergencia prematura, exhibiendo un comportamiento de optimización inherente y elucidando la correlación entre la distribución del conjunto de datos y la selección óptima de LR. El método propuesto logra una precisión del 84.96% en el conjunto de datos CIFAR-10 mientras reduce el consumo de energía a 0.07 kWh, las emisiones a 0.05 y ambas emisiones a 0.00003 libras, durante todo el proceso de entrenamiento y prueba.
Descripción
Optimizar las tasas de aprendizaje (LRs) en el aprendizaje profundo (DL) ha sido un desafío durante mucho tiempo. Las soluciones anteriores, como la programación de tasas de aprendizaje (LRS) y algoritmos de tasa de aprendizaje adaptativa (ALR) como RMSProp y Adam, añadieron complejidad al introducir nuevos hiperparámetros, aumentando así el costo del entrenamiento del modelo a través de costosos experimentos de validación cruzada. Estos métodos se centran principalmente en patrones de gradiente locales, que pueden no ser efectivos en escenarios con múltiples óptimos locales cerca del óptimo global. Se introduce una nueva técnica llamada Ajustador de Tasa de Aprendizaje con Adaptación Relativa (LRT-RA) para abordar estos problemas. Este enfoque ajusta dinámicamente las LRs durante el entrenamiento al analizar la curva de pérdida global, eliminando la necesidad de una costosa estimación inicial de LR a través de validación cruzada. Este método reduce los gastos de entrenamiento y la huella de carbono y mejora la eficiencia del entrenamiento. Demuestra resultados prometedores en la prevención de la convergencia prematura, exhibiendo un comportamiento de optimización inherente y elucidando la correlación entre la distribución del conjunto de datos y la selección óptima de LR. El método propuesto logra una precisión del 84.96% en el conjunto de datos CIFAR-10 mientras reduce el consumo de energía a 0.07 kWh, las emisiones a 0.05 y ambas emisiones a 0.00003 libras, durante todo el proceso de entrenamiento y prueba.