Estudio de ajuste de capa selectiva y rendimiento de modelos pre-entrenados utilizando algoritmo genético
Autores: Jeong, Jae-Cheol; Yu, Gwang-Hyun; Song, Min-Gyu; Vu, Dang Thanh; Anh, Le Hoang; Jung, Young-Ae; Choi, Yoon-A; Um, Tai-Won; Kim, Jin-Young
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Estudio de ajuste de capa selectiva y rendimiento de modelos pre-entrenados utilizando algoritmo genético
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelos pre-entrenados
Algoritmo genético
Ajuste fino
Modelos de aprendizaje profundo
Conjunto de datos ImageNet
Tarea de clasificación
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 35
Citaciones: Sin citaciones
Utilizar modelos pre-entrenados implica utilizar totalmente o parcialmente los parámetros pre-entrenados como inicialización. En general, configurar un modelo pre-entrenado exige el conocimiento de los profesionales sobre los problemas o un experimento exhaustivo de prueba y error de acuerdo con una tarea dada. En este documento, proponemos ajustar las capas entrenables utilizando un algoritmo genético en un modelo pre-entrenado que se ajusta finamente en conjuntos de datos de imágenes de un solo canal para una tarea de clasificación. El conjunto de datos de un solo canal comprende imágenes de señales de audio en escala de grises y preprocesadas transformadas en un espectrograma log-Mel. Cuatro modelos de aprendizaje profundo utilizados en la evaluación experimental emplearon el modelo pre-entrenado con el conjunto de datos de ImageNet. El algoritmo genético propuesto se aplicó para encontrar la mayor aptitud para cada generación y determinar la sintonización de capas selectivas de los modelos pre-entrenados. En comparación con el método convencional de ajuste fino y la búsqueda de capas aleatorias, nuestra búsqueda de capas selectivas con un algoritmo genético logra una precisión más alta, en promedio, en un 9.7% y 1.88% (MNIST-Fashion), 1.31% y 1.14% (UrbanSound8k), y 2.2% y 0.29% (HospitalAlarmSound), respectivamente. Además, nuestro método de búsqueda puede aplicarse naturalmente a varios conjuntos de datos de la misma tarea sin conocimiento previo sobre el conjunto de datos de interés.
Descripción
Utilizar modelos pre-entrenados implica utilizar totalmente o parcialmente los parámetros pre-entrenados como inicialización. En general, configurar un modelo pre-entrenado exige el conocimiento de los profesionales sobre los problemas o un experimento exhaustivo de prueba y error de acuerdo con una tarea dada. En este documento, proponemos ajustar las capas entrenables utilizando un algoritmo genético en un modelo pre-entrenado que se ajusta finamente en conjuntos de datos de imágenes de un solo canal para una tarea de clasificación. El conjunto de datos de un solo canal comprende imágenes de señales de audio en escala de grises y preprocesadas transformadas en un espectrograma log-Mel. Cuatro modelos de aprendizaje profundo utilizados en la evaluación experimental emplearon el modelo pre-entrenado con el conjunto de datos de ImageNet. El algoritmo genético propuesto se aplicó para encontrar la mayor aptitud para cada generación y determinar la sintonización de capas selectivas de los modelos pre-entrenados. En comparación con el método convencional de ajuste fino y la búsqueda de capas aleatorias, nuestra búsqueda de capas selectivas con un algoritmo genético logra una precisión más alta, en promedio, en un 9.7% y 1.88% (MNIST-Fashion), 1.31% y 1.14% (UrbanSound8k), y 2.2% y 0.29% (HospitalAlarmSound), respectivamente. Además, nuestro método de búsqueda puede aplicarse naturalmente a varios conjuntos de datos de la misma tarea sin conocimiento previo sobre el conjunto de datos de interés.