logo móvil
Contáctanos

Amc: ajuste adaptativo de la tasa de aprendizaje basado en la complejidad del modelo

Autores: Cheng, Weiwei; Pu, Rong; Wang, Bin

Idioma: Inglés

Editor: MDPI

Año: 2025

Descargar PDF

Acceso abierto

Artículo científico
2025

Amc: ajuste adaptativo de la tasa de aprendizaje basado en la complejidad del modelo


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Optimizador
Eficiencia
Entrenamiento de modelos
Aprendizaje profundo
Adam
Complejidad del modelo

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 28

Citaciones: Sin citaciones


Descripción
Un optimizador juega un papel decisivo en la eficiencia y efectividad del entrenamiento del modelo en el aprendizaje profundo. Aunque Adam y sus variantes son ampliamente utilizados, no se considera el impacto de la complejidad del modelo en el entrenamiento, lo que conduce a inestabilidad o convergencia lenta cuando se entrena un modelo complejo. Para abordar este problema, proponemos un optimizador AMC (Adam con Complejidad del Modelo), que ajusta dinámicamente la tasa de aprendizaje incorporando la complejidad del modelo, mejorando así la estabilidad del entrenamiento y la velocidad de convergencia. AMC utiliza la norma de Frobenius del modelo para medir su complejidad, disminuyendo automáticamente la tasa de aprendizaje de los modelos complejos y aumentando la tasa de aprendizaje de los modelos simples, optimizando así el proceso de entrenamiento. Proporcionamos un análisis teórico para demostrar la relación entre la complejidad del modelo y la tasa de aprendizaje, así como las cotas de convergencia de AMC. Experimentos en múltiples conjuntos de datos de referencia muestran que, en comparación con varios optimizadores ampliamente utilizados, AMC presenta una mejor estabilidad y una convergencia más rápida, especialmente en el entrenamiento de modelos complejos.

Otros recursos que podrían interesarte

Temas Virtualpro