Rhoaso: un algoritmo de optimización de hiperparámetros de parada temprana
Autores: Muñoz Castañeda, Ángel Luis; DeCastro-García, Noemí; Escudero García, David
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Rhoaso: un algoritmo de optimización de hiperparámetros de parada temprana
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Algoritmo
Hiperparámetros
Aprendizaje automático
Optimización
Conjunto de datos
Rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
Este trabajo propone un nuevo algoritmo para optimizar hiperparámetros de un algoritmo de aprendizaje automático, RHOASo, basado en la optimización condicional de funciones asintóticas cóncavas. Se presenta un análisis comparativo del algoritmo, dando énfasis particular a dos propiedades importantes: la capacidad del algoritmo para trabajar eficientemente con una pequeña parte de un conjunto de datos y para finalizar el proceso de ajuste automáticamente, es decir, sin que el usuario especifique explícitamente el número de iteraciones que el algoritmo debe realizar. Se realizaron análisis estadísticos sobre 16 conjuntos de datos de referencia públicos comparando el rendimiento de siete algoritmos de optimización de hiperparámetros con RHOASo. La eficiencia de RHOASo presenta diferencias positivas estadísticamente significativas con respecto a los otros algoritmos de optimización de hiperparámetros considerados en los experimentos. Además, se muestra que, en promedio, el algoritmo necesita alrededor de las iteraciones necesarias por otros algoritmos para lograr un rendimiento competitivo. Los resultados muestran que el algoritmo presenta una estabilidad significativa en cuanto al tamaño de la partición del conjunto de datos utilizado.
Descripción
Este trabajo propone un nuevo algoritmo para optimizar hiperparámetros de un algoritmo de aprendizaje automático, RHOASo, basado en la optimización condicional de funciones asintóticas cóncavas. Se presenta un análisis comparativo del algoritmo, dando énfasis particular a dos propiedades importantes: la capacidad del algoritmo para trabajar eficientemente con una pequeña parte de un conjunto de datos y para finalizar el proceso de ajuste automáticamente, es decir, sin que el usuario especifique explícitamente el número de iteraciones que el algoritmo debe realizar. Se realizaron análisis estadísticos sobre 16 conjuntos de datos de referencia públicos comparando el rendimiento de siete algoritmos de optimización de hiperparámetros con RHOASo. La eficiencia de RHOASo presenta diferencias positivas estadísticamente significativas con respecto a los otros algoritmos de optimización de hiperparámetros considerados en los experimentos. Además, se muestra que, en promedio, el algoritmo necesita alrededor de las iteraciones necesarias por otros algoritmos para lograr un rendimiento competitivo. Los resultados muestran que el algoritmo presenta una estabilidad significativa en cuanto al tamaño de la partición del conjunto de datos utilizado.