La avaricia es buena: optimización rápida de hiperparámetros y selección de modelo utilizando validación cruzada perezosa de -Fold
Autores: Soper, Daniel S.
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
La avaricia es buena: optimización rápida de hiperparámetros y selección de modelo utilizando validación cruzada perezosa de -Fold
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aprendizaje automático
Optimización de hiperparámetros
Validación cruzada
Método voraz
Algoritmo de parada temprana
Algoritmos de aprendizaje automático
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 39
Citaciones: Sin citaciones
La selección de un modelo final de aprendizaje automático (ML) generalmente ocurre después de un proceso de optimización de hiperparámetros en el que se evalúan y comparan muchos modelos candidatos con diferentes propiedades estructurales y configuraciones algorítmicas. La evaluación de cada modelo candidato comúnmente se basa en la validación cruzada de k iteraciones, en la que los datos se subdividen aleatoriamente en pliegues, y cada pliegue se utiliza de forma iterativa como un conjunto de validación para un modelo que ha sido entrenado utilizando los pliegues restantes. Mientras que muchos estudios de investigación han buscado acelerar la selección de modelos de ML aplicando metaheurísticas y otros métodos de búsqueda al espacio de hiperparámetros, no se ha considerado el proceso de validación cruzada de k iteraciones en sí mismo como un medio para identificar rápidamente el modelo de mejor rendimiento. El estudio actual corrige esta omisión al introducir un método de validación cruzada de k iteraciones codicioso y demostrar que la validación cruzada de k iteraciones codiciosa puede reducir enormemente el tiempo promedio necesario para identificar el modelo de mejor rendimiento cuando se dispone de un presupuesto computacional fijo y un conjunto de modelos candidatos. Se muestra que este tiempo de búsqueda mejorado se mantiene en una variedad de algoritmos de ML y conjuntos de datos del mundo real. Para escenarios sin un presupuesto computacional, este documento también introduce un algoritmo de detención temprana basado en el método de validación cruzada codiciosa. Se muestra que el método de detención temprana codicioso supera a un método de detención temprana de vanguardia competidor tanto en términos de tiempo de búsqueda como en la calidad de los modelos de ML seleccionados por el algoritmo. Dado que la optimización de hiperparámetros es una de las tareas más consumidoras de tiempo, intensivas computacionalmente y costosas en términos monetarios en el proceso más amplio de desarrollar soluciones basadas en ML, la capacidad de identificar rápidamente modelos de aprendizaje automático óptimos utilizando la validación cruzada codiciosa tiene beneficios obvios y sustanciales tanto para las organizaciones como para los investigadores.
Descripción
La selección de un modelo final de aprendizaje automático (ML) generalmente ocurre después de un proceso de optimización de hiperparámetros en el que se evalúan y comparan muchos modelos candidatos con diferentes propiedades estructurales y configuraciones algorítmicas. La evaluación de cada modelo candidato comúnmente se basa en la validación cruzada de k iteraciones, en la que los datos se subdividen aleatoriamente en pliegues, y cada pliegue se utiliza de forma iterativa como un conjunto de validación para un modelo que ha sido entrenado utilizando los pliegues restantes. Mientras que muchos estudios de investigación han buscado acelerar la selección de modelos de ML aplicando metaheurísticas y otros métodos de búsqueda al espacio de hiperparámetros, no se ha considerado el proceso de validación cruzada de k iteraciones en sí mismo como un medio para identificar rápidamente el modelo de mejor rendimiento. El estudio actual corrige esta omisión al introducir un método de validación cruzada de k iteraciones codicioso y demostrar que la validación cruzada de k iteraciones codiciosa puede reducir enormemente el tiempo promedio necesario para identificar el modelo de mejor rendimiento cuando se dispone de un presupuesto computacional fijo y un conjunto de modelos candidatos. Se muestra que este tiempo de búsqueda mejorado se mantiene en una variedad de algoritmos de ML y conjuntos de datos del mundo real. Para escenarios sin un presupuesto computacional, este documento también introduce un algoritmo de detención temprana basado en el método de validación cruzada codiciosa. Se muestra que el método de detención temprana codicioso supera a un método de detención temprana de vanguardia competidor tanto en términos de tiempo de búsqueda como en la calidad de los modelos de ML seleccionados por el algoritmo. Dado que la optimización de hiperparámetros es una de las tareas más consumidoras de tiempo, intensivas computacionalmente y costosas en términos monetarios en el proceso más amplio de desarrollar soluciones basadas en ML, la capacidad de identificar rápidamente modelos de aprendizaje automático óptimos utilizando la validación cruzada codiciosa tiene beneficios obvios y sustanciales tanto para las organizaciones como para los investigadores.