El algoritmo genético Tabu: un método novedoso para la optimización de hiperparámetros de algoritmos de aprendizaje
Autores: Guo, Baosu; Hu, Jingwen; Wu, Wenwen; Peng, Qingjin; Wu, Fenghe
Idioma: Inglés
Editor: MDPI
Año: 2019
Acceso abierto
Artículo científico
2019
El algoritmo genético Tabu: un método novedoso para la optimización de hiperparámetros de algoritmos de aprendizaje
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Algoritmos de aprendizaje automático
Hiperparámetros
Redes neuronales profundas
Algoritmo Genético
Búsqueda Tabú
Optimización
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
Los algoritmos de aprendizaje automático han sido ampliamente utilizados para abordar una variedad de problemas prácticos como la visión por computadora y el procesamiento del habla. Sin embargo, el rendimiento de los algoritmos de aprendizaje automático se ve afectado principalmente por sus hiperparámetros, ya que sin buenos valores de hiperparámetros, el rendimiento de estos algoritmos será muy pobre. Desafortunadamente, para modelos de aprendizaje automático complejos como las redes neuronales profundas, es muy difícil determinar sus hiperparámetros. Por lo tanto, es de gran importancia desarrollar un algoritmo eficiente para la optimización automática de hiperparámetros. En este artículo, se presenta una metodología novedosa de optimización de hiperparámetros que combina las ventajas de un Algoritmo Genético y Búsqueda Tabú para lograr la búsqueda eficiente de hiperparámetros de algoritmos de aprendizaje. Este método se define como el Algoritmo Tabú_Genético. Para verificar el rendimiento del algoritmo propuesto, se realizan dos conjuntos de experimentos de contraste. El Algoritmo Tabú_Genético y otros cuatro métodos se utilizan simultáneamente para buscar buenos valores de hiperparámetros de redes neuronales convolucionales profundas. Los resultados experimentales muestran que, en comparación con los métodos de Búsqueda Aleatoria y Optimización Bayesiana, el Algoritmo Tabú_Genético propuesto encuentra un mejor modelo en menos tiempo. Ya sea en un espacio de baja o alta dimensionalidad, el Algoritmo Tabú_Genético tiene mejores capacidades de búsqueda como un método efectivo para encontrar los hiperparámetros de algoritmos de aprendizaje. El método presentado en este artículo proporciona una nueva solución para resolver el problema de optimización de hiperparámetros de modelos de aprendizaje automático complejos, lo que proporcionará a los algoritmos de aprendizaje automático un mejor rendimiento al resolver problemas prácticos.
Descripción
Los algoritmos de aprendizaje automático han sido ampliamente utilizados para abordar una variedad de problemas prácticos como la visión por computadora y el procesamiento del habla. Sin embargo, el rendimiento de los algoritmos de aprendizaje automático se ve afectado principalmente por sus hiperparámetros, ya que sin buenos valores de hiperparámetros, el rendimiento de estos algoritmos será muy pobre. Desafortunadamente, para modelos de aprendizaje automático complejos como las redes neuronales profundas, es muy difícil determinar sus hiperparámetros. Por lo tanto, es de gran importancia desarrollar un algoritmo eficiente para la optimización automática de hiperparámetros. En este artículo, se presenta una metodología novedosa de optimización de hiperparámetros que combina las ventajas de un Algoritmo Genético y Búsqueda Tabú para lograr la búsqueda eficiente de hiperparámetros de algoritmos de aprendizaje. Este método se define como el Algoritmo Tabú_Genético. Para verificar el rendimiento del algoritmo propuesto, se realizan dos conjuntos de experimentos de contraste. El Algoritmo Tabú_Genético y otros cuatro métodos se utilizan simultáneamente para buscar buenos valores de hiperparámetros de redes neuronales convolucionales profundas. Los resultados experimentales muestran que, en comparación con los métodos de Búsqueda Aleatoria y Optimización Bayesiana, el Algoritmo Tabú_Genético propuesto encuentra un mejor modelo en menos tiempo. Ya sea en un espacio de baja o alta dimensionalidad, el Algoritmo Tabú_Genético tiene mejores capacidades de búsqueda como un método efectivo para encontrar los hiperparámetros de algoritmos de aprendizaje. El método presentado en este artículo proporciona una nueva solución para resolver el problema de optimización de hiperparámetros de modelos de aprendizaje automático complejos, lo que proporcionará a los algoritmos de aprendizaje automático un mejor rendimiento al resolver problemas prácticos.