Búsqueda Aleatoria Colaborativa Basada en Agentes para la Optimización de Hiperparámetros y Funciones Globales
Autores: Esmaeili, Ahmad; Ghorrati, Zahra; Matson, Eric T.
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Búsqueda Aleatoria Colaborativa Basada en Agentes para la Optimización de Hiperparámetros y Funciones Globales
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Sistemas
Palabras clave
Optimización de hiperparámetros
Modelos de aprendizaje automático
Técnica colaborativa basada en agentes
Técnicas de optimización de caja negra
Arquitectura jerárquica basada en agentes
Métodos basados en aleatoriedad
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 28
Citaciones: Sin citaciones
La optimización de hiperparámetros es uno de los pasos más tediosos pero cruciales en el entrenamiento de modelos de aprendizaje automático. Existen numerosos métodos para esta etapa vital de construcción de modelos, que van desde pautas de ajuste manual específicas del dominio sugeridas por los oráculos hasta la utilización de técnicas de optimización de caja negra de propósito general. Este artículo propone una técnica colaborativa basada en agentes para encontrar valores casi óptimos para cualquier conjunto arbitrario de hiperparámetros (o variables de decisión) en un modelo de aprendizaje automático (o un problema de optimización de funciones de caja negra). El método desarrollado forma una arquitectura jerárquica basada en agentes para la distribución de las operaciones de búsqueda en diferentes dimensiones y emplea un procedimiento de búsqueda cooperativa basado en una técnica de muestreo aleatorio adaptativa de ancho variable para localizar los óptimos. Se investiga el comportamiento del modelo presentado, específicamente frente a cambios en sus parámetros de diseño, en aplicaciones de aprendizaje automático y optimización de funciones globales, y se compara su rendimiento con el de dos estrategias de ajuste aleatorio que se utilizan comúnmente en la práctica. Además, hemos comparado el rendimiento del enfoque propuesto con los métodos de optimización por enjambre de partículas (PSO) y recocido simulado (SA) en la optimización de funciones para proporcionar información adicional sobre su exploración en el espacio de búsqueda. Según los resultados empíricos, el modelo propuesto superó a los métodos aleatorios comparados en casi todas las tareas realizadas, notablemente en un mayor número de dimensiones y en presencia de recursos computacionales limitados en el dispositivo.
Descripción
La optimización de hiperparámetros es uno de los pasos más tediosos pero cruciales en el entrenamiento de modelos de aprendizaje automático. Existen numerosos métodos para esta etapa vital de construcción de modelos, que van desde pautas de ajuste manual específicas del dominio sugeridas por los oráculos hasta la utilización de técnicas de optimización de caja negra de propósito general. Este artículo propone una técnica colaborativa basada en agentes para encontrar valores casi óptimos para cualquier conjunto arbitrario de hiperparámetros (o variables de decisión) en un modelo de aprendizaje automático (o un problema de optimización de funciones de caja negra). El método desarrollado forma una arquitectura jerárquica basada en agentes para la distribución de las operaciones de búsqueda en diferentes dimensiones y emplea un procedimiento de búsqueda cooperativa basado en una técnica de muestreo aleatorio adaptativa de ancho variable para localizar los óptimos. Se investiga el comportamiento del modelo presentado, específicamente frente a cambios en sus parámetros de diseño, en aplicaciones de aprendizaje automático y optimización de funciones globales, y se compara su rendimiento con el de dos estrategias de ajuste aleatorio que se utilizan comúnmente en la práctica. Además, hemos comparado el rendimiento del enfoque propuesto con los métodos de optimización por enjambre de partículas (PSO) y recocido simulado (SA) en la optimización de funciones para proporcionar información adicional sobre su exploración en el espacio de búsqueda. Según los resultados empíricos, el modelo propuesto superó a los métodos aleatorios comparados en casi todas las tareas realizadas, notablemente en un mayor número de dimensiones y en presencia de recursos computacionales limitados en el dispositivo.