Un enfoque para la optimización de hiperparámetros para la función objetivo en el aprendizaje automático
Autores: Kim, Yonghoon; Chung, Mokdong
Idioma: Inglés
Editor: MDPI
Año: 2019
Acceso abierto
Artículo científico
2019
Un enfoque para la optimización de hiperparámetros para la función objetivo en el aprendizaje automático
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje automático
Hiperparámetros
Tasa de aprendizaje
Optimización bayesiana
Proceso Gaussiano
Rendimiento de entrenamiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 24
Citaciones: Sin citaciones
En el aprendizaje automático, el rendimiento es de gran valor. Sin embargo, cada proceso de aprendizaje requiere mucho tiempo y esfuerzo en la configuración de cada parámetro. El problema crítico en el aprendizaje automático es determinar los hiperparámetros, como la tasa de aprendizaje, el tamaño del mini lote y el coeficiente de regularización. En particular, nos enfocamos en la tasa de aprendizaje, que está directamente relacionada con la eficiencia y el rendimiento del aprendizaje. La optimización bayesiana utilizando un Proceso Gaussiano es común para este propósito. En este documento, basados en la optimización bayesiana, intentamos optimizar automáticamente los hiperparámetros utilizando una distribución Gamma, en lugar de una distribución Gaussiana, para mejorar el rendimiento del entrenamiento en la predicción de discriminación de imágenes. Como resultado, nuestro método propuesto demuestra ser más razonable y eficiente en la estimación de la tasa de aprendizaje al entrenar los datos, y puede ser útil en el aprendizaje automático.
Descripción
En el aprendizaje automático, el rendimiento es de gran valor. Sin embargo, cada proceso de aprendizaje requiere mucho tiempo y esfuerzo en la configuración de cada parámetro. El problema crítico en el aprendizaje automático es determinar los hiperparámetros, como la tasa de aprendizaje, el tamaño del mini lote y el coeficiente de regularización. En particular, nos enfocamos en la tasa de aprendizaje, que está directamente relacionada con la eficiencia y el rendimiento del aprendizaje. La optimización bayesiana utilizando un Proceso Gaussiano es común para este propósito. En este documento, basados en la optimización bayesiana, intentamos optimizar automáticamente los hiperparámetros utilizando una distribución Gamma, en lugar de una distribución Gaussiana, para mejorar el rendimiento del entrenamiento en la predicción de discriminación de imágenes. Como resultado, nuestro método propuesto demuestra ser más razonable y eficiente en la estimación de la tasa de aprendizaje al entrenar los datos, y puede ser útil en el aprendizaje automático.