logo móvil
Contáctanos

Búsqueda Aleatoria Colaborativa Basada en Agentes para la Optimización de Hiperparámetros y Funciones Globales

Autores: Esmaeili, Ahmad; Ghorrati, Zahra; Matson, Eric T.

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Búsqueda Aleatoria Colaborativa Basada en Agentes para la Optimización de Hiperparámetros y Funciones Globales


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería de Sistemas

Palabras clave

Optimización de hiperparámetros
Modelos de aprendizaje automático
Técnica colaborativa basada en agentes
Técnicas de optimización de caja negra
Arquitectura jerárquica basada en agentes
Métodos basados en aleatoriedad

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 28

Citaciones: Sin citaciones


Descripción
La optimización de hiperparámetros es uno de los pasos más tediosos pero cruciales en el entrenamiento de modelos de aprendizaje automático. Existen numerosos métodos para esta etapa vital de construcción de modelos, que van desde pautas de ajuste manual específicas del dominio sugeridas por los oráculos hasta la utilización de técnicas de optimización de caja negra de propósito general. Este artículo propone una técnica colaborativa basada en agentes para encontrar valores casi óptimos para cualquier conjunto arbitrario de hiperparámetros (o variables de decisión) en un modelo de aprendizaje automático (o un problema de optimización de funciones de caja negra). El método desarrollado forma una arquitectura jerárquica basada en agentes para la distribución de las operaciones de búsqueda en diferentes dimensiones y emplea un procedimiento de búsqueda cooperativa basado en una técnica de muestreo aleatorio adaptativa de ancho variable para localizar los óptimos. Se investiga el comportamiento del modelo presentado, específicamente frente a cambios en sus parámetros de diseño, en aplicaciones de aprendizaje automático y optimización de funciones globales, y se compara su rendimiento con el de dos estrategias de ajuste aleatorio que se utilizan comúnmente en la práctica. Además, hemos comparado el rendimiento del enfoque propuesto con los métodos de optimización por enjambre de partículas (PSO) y recocido simulado (SA) en la optimización de funciones para proporcionar información adicional sobre su exploración en el espacio de búsqueda. Según los resultados empíricos, el modelo propuesto superó a los métodos aleatorios comparados en casi todas las tareas realizadas, notablemente en un mayor número de dimensiones y en presencia de recursos computacionales limitados en el dispositivo.

Otros recursos que podrían interesarte

Temas Virtualpro