Un algoritmo de búsqueda de gorriones híbridos para la optimización de hiperparámetros en aprendizaje profundo
Autores: Fan, Yanyan; Zhang, Yu; Guo, Baosu; Luo, Xiaoyuan; Peng, Qingjin; Jin, Zhenlin
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Un algoritmo de búsqueda de gorriones híbridos para la optimización de hiperparámetros en aprendizaje profundo
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Aprendizaje profundo
Hiperparámetros
Algoritmos
Optimización
Algoritmo de Búsqueda del Gorrión
Optimización por Enjambre de Partículas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 21
Citaciones: Sin citaciones
El aprendizaje profundo ha sido ampliamente utilizado en diferentes campos como visión por computadora y procesamiento del habla. El rendimiento de los algoritmos de aprendizaje profundo se ve grandemente afectado por sus hiperparámetros. Para modelos complejos de aprendizaje automático como las redes neuronales profundas, es difícil determinar sus hiperparámetros. Además, los algoritmos de optimización de hiperparámetros existentes tienden a converger fácilmente hacia una solución óptima local. Este artículo propone un método para la optimización de hiperparámetros que combina el Algoritmo de Búsqueda de Gorrión y la Optimización por Enjambre de Partículas, llamado el Algoritmo de Búsqueda de Gorrión Híbrido. Este método aprovecha la capacidad de evitar la solución óptima local en el Algoritmo de Búsqueda de Gorrión y la eficiencia de búsqueda de la Optimización por Enjambre de Partículas para lograr una optimización global. Experimentos verificaron el algoritmo propuesto en redes simples y complejas. Los resultados muestran que el Algoritmo de Búsqueda de Gorrión Híbrido tiene una sólida capacidad de búsqueda global para evitar soluciones óptimas locales y una eficiencia de búsqueda satisfactoria tanto en espacios de baja como alta dimensión. El método propuesto ofrece una nueva solución para problemas de optimización de hiperparámetros en modelos de aprendizaje profundo.
Descripción
El aprendizaje profundo ha sido ampliamente utilizado en diferentes campos como visión por computadora y procesamiento del habla. El rendimiento de los algoritmos de aprendizaje profundo se ve grandemente afectado por sus hiperparámetros. Para modelos complejos de aprendizaje automático como las redes neuronales profundas, es difícil determinar sus hiperparámetros. Además, los algoritmos de optimización de hiperparámetros existentes tienden a converger fácilmente hacia una solución óptima local. Este artículo propone un método para la optimización de hiperparámetros que combina el Algoritmo de Búsqueda de Gorrión y la Optimización por Enjambre de Partículas, llamado el Algoritmo de Búsqueda de Gorrión Híbrido. Este método aprovecha la capacidad de evitar la solución óptima local en el Algoritmo de Búsqueda de Gorrión y la eficiencia de búsqueda de la Optimización por Enjambre de Partículas para lograr una optimización global. Experimentos verificaron el algoritmo propuesto en redes simples y complejas. Los resultados muestran que el Algoritmo de Búsqueda de Gorrión Híbrido tiene una sólida capacidad de búsqueda global para evitar soluciones óptimas locales y una eficiencia de búsqueda satisfactoria tanto en espacios de baja como alta dimensión. El método propuesto ofrece una nueva solución para problemas de optimización de hiperparámetros en modelos de aprendizaje profundo.