Exploratory landscape validation for Bayesian optimization algorithms
Autores: Agasiev, Taleh; Karpenko, Anatoly
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Exploratory landscape validation for Bayesian optimization algorithms
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Optimización bayesiana
Modelos de sustitución
Valores de hiperparámetros
Algoritmo de aproximación
Validación exploratoria del paisaje
Complejidad computacional
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
Los algoritmos de optimización bayesiana son ampliamente utilizados para resolver problemas con una alta complejidad computacional en términos de evaluación de funciones objetivo. La eficiencia de la optimización bayesiana depende fuertemente de la calidad de los modelos de sustitución de una función objetivo, que se construyen y refinan en cada iteración. La calidad de los modelos de sustitución, y por lo tanto el rendimiento de un algoritmo de optimización, puede mejorarse considerablemente seleccionando los valores adecuados de los hiperparámetros del algoritmo de aproximación. El enfoque común para encontrar buenos valores de hiperparámetros para cada iteración de la optimización bayesiana es construir modelos de sustitución con diferentes valores de hiperparámetros y elegir el mejor en función de alguna estimación del error de aproximación, por ejemplo, un puntaje de validación cruzada. Construir múltiples modelos de sustitución para cada iteración de la optimización bayesiana es exigente computacionalmente y aumenta significativamente el tiempo necesario para resolver un problema de optimización. Este documento sugiere un nuevo enfoque, llamado validación exploratoria del paisaje, para encontrar buenos valores de hiperparámetros con menos esfuerzo computacional. Las métricas de validación exploratoria del paisaje pueden utilizarse para predecir los mejores valores de hiperparámetros, lo que puede mejorar tanto la calidad de las soluciones encontradas por la optimización bayesiana como el tiempo necesario para resolver problemas.
Descripción
Los algoritmos de optimización bayesiana son ampliamente utilizados para resolver problemas con una alta complejidad computacional en términos de evaluación de funciones objetivo. La eficiencia de la optimización bayesiana depende fuertemente de la calidad de los modelos de sustitución de una función objetivo, que se construyen y refinan en cada iteración. La calidad de los modelos de sustitución, y por lo tanto el rendimiento de un algoritmo de optimización, puede mejorarse considerablemente seleccionando los valores adecuados de los hiperparámetros del algoritmo de aproximación. El enfoque común para encontrar buenos valores de hiperparámetros para cada iteración de la optimización bayesiana es construir modelos de sustitución con diferentes valores de hiperparámetros y elegir el mejor en función de alguna estimación del error de aproximación, por ejemplo, un puntaje de validación cruzada. Construir múltiples modelos de sustitución para cada iteración de la optimización bayesiana es exigente computacionalmente y aumenta significativamente el tiempo necesario para resolver un problema de optimización. Este documento sugiere un nuevo enfoque, llamado validación exploratoria del paisaje, para encontrar buenos valores de hiperparámetros con menos esfuerzo computacional. Las métricas de validación exploratoria del paisaje pueden utilizarse para predecir los mejores valores de hiperparámetros, lo que puede mejorar tanto la calidad de las soluciones encontradas por la optimización bayesiana como el tiempo necesario para resolver problemas.