Aprendizaje de configuraciones de hiperparámetros individualizadas
Autores: Maniezzo, Vittorio; Zhou, Tingting
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Aprendizaje de configuraciones de hiperparámetros individualizadas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Algoritmos de optimización
Hiperparámetros
Soluciones de IA/aprendizaje automático
Configuradores automáticos
Redes neuronales artificiales
Selección de algoritmos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 37
Citaciones: Sin citaciones
El rendimiento de los algoritmos de optimización, y consecuentemente de las soluciones de IA/aprendizaje automático, está fuertemente influenciado por la configuración de sus hiperparámetros. Durante las últimas décadas, se ha desarrollado una rica literatura proponiendo métodos para determinar automáticamente la configuración de parámetros para un problema de interés, con el objetivo de lograr configuraciones robustas o específicas para instancias. La optimización de configuraciones robustas es ya un área de investigación madura, mientras que la configuración a nivel de instancia aún está en sus etapas iniciales, con contribuciones que se ocupan principalmente de la selección de algoritmos. El trabajo reportado en este documento pertenece a esta última categoría, explotando las capacidades de aprendizaje y generalización de las redes neuronales artificiales para adaptar una configuración general generada por configuradores automáticos de última generación. Nuestro enfoque difiere significativamente de los análogos en la literatura, tanto porque confiamos en sistemas neuronales para sugerir las configuraciones, como porque proponemos un esquema de aprendizaje novedoso en el cual se proponen diferentes salidas para cada entrada, con el fin de respaldar la generalización a partir de ejemplos. El enfoque fue validado en dos algoritmos diferentes que optimizaron instancias de dos problemas diferentes. Utilizamos un algoritmo muy sensible a la configuración de parámetros, aplicado a instancias del problema de asignación generalizada, y una búsqueda tabú robusta que aparentemente es poco sensible a sus configuraciones, aplicada a instancias del problema de asignación cuadrática. Los resultados computacionales en ambos casos atestiguan la efectividad del enfoque, especialmente cuando se aplica a instancias que son estructuralmente muy diferentes de las encontradas previamente.
Descripción
El rendimiento de los algoritmos de optimización, y consecuentemente de las soluciones de IA/aprendizaje automático, está fuertemente influenciado por la configuración de sus hiperparámetros. Durante las últimas décadas, se ha desarrollado una rica literatura proponiendo métodos para determinar automáticamente la configuración de parámetros para un problema de interés, con el objetivo de lograr configuraciones robustas o específicas para instancias. La optimización de configuraciones robustas es ya un área de investigación madura, mientras que la configuración a nivel de instancia aún está en sus etapas iniciales, con contribuciones que se ocupan principalmente de la selección de algoritmos. El trabajo reportado en este documento pertenece a esta última categoría, explotando las capacidades de aprendizaje y generalización de las redes neuronales artificiales para adaptar una configuración general generada por configuradores automáticos de última generación. Nuestro enfoque difiere significativamente de los análogos en la literatura, tanto porque confiamos en sistemas neuronales para sugerir las configuraciones, como porque proponemos un esquema de aprendizaje novedoso en el cual se proponen diferentes salidas para cada entrada, con el fin de respaldar la generalización a partir de ejemplos. El enfoque fue validado en dos algoritmos diferentes que optimizaron instancias de dos problemas diferentes. Utilizamos un algoritmo muy sensible a la configuración de parámetros, aplicado a instancias del problema de asignación generalizada, y una búsqueda tabú robusta que aparentemente es poco sensible a sus configuraciones, aplicada a instancias del problema de asignación cuadrática. Los resultados computacionales en ambos casos atestiguan la efectividad del enfoque, especialmente cuando se aplica a instancias que son estructuralmente muy diferentes de las encontradas previamente.