El aprendizaje activo: codificador-decodificador-capade externa y muestreo de diversificación del espacio vectorial
Autores: Zeng, Hongyi; Kong, Fanyi
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
El aprendizaje activo: codificador-decodificador-capade externa y muestreo de diversificación del espacio vectorial
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Entrenamiento de pipeline
Marco de codificador-decodificador-capa de salida
Método de muestreo de diversificación del espacio vectorial
Etapas de preentrenamiento
Ajuste fino
Algoritmo de muestreo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 27
Citaciones: Sin citaciones
Este estudio presenta un pipeline de entrenamiento que consta de dos componentes: el marco de trabajo Codificador-Decodificador-Capa de Salida y el método de Muestreo de Diversificación del Espacio Vectorial. Este marco de trabajo separa eficientemente las etapas de pre-entrenamiento y ajuste fino, mientras que el método de muestreo emplea nodos pivote para dividir el espacio de subvectores y elegir selectivamente datos no etiquetados, reduciendo así la dependencia de la etiquetación humana. El pipeline ofrece numerosas ventajas, incluyendo entrenamiento rápido, paralelización, capacidad de almacenamiento en búfer, flexibilidad, bajo uso de memoria GPU y un método de muestra con complejidad temporal casi lineal. Los resultados experimentales demuestran que los modelos entrenados con el algoritmo de muestreo propuesto generalmente superan a aquellos entrenados con muestreo aleatorio en conjuntos de datos pequeños. Estas características lo convierten en un enfoque de entrenamiento altamente eficiente y efectivo para modelos de aprendizaje automático. Más detalles se pueden encontrar en el repositorio del proyecto en GitHub.
Descripción
Este estudio presenta un pipeline de entrenamiento que consta de dos componentes: el marco de trabajo Codificador-Decodificador-Capa de Salida y el método de Muestreo de Diversificación del Espacio Vectorial. Este marco de trabajo separa eficientemente las etapas de pre-entrenamiento y ajuste fino, mientras que el método de muestreo emplea nodos pivote para dividir el espacio de subvectores y elegir selectivamente datos no etiquetados, reduciendo así la dependencia de la etiquetación humana. El pipeline ofrece numerosas ventajas, incluyendo entrenamiento rápido, paralelización, capacidad de almacenamiento en búfer, flexibilidad, bajo uso de memoria GPU y un método de muestra con complejidad temporal casi lineal. Los resultados experimentales demuestran que los modelos entrenados con el algoritmo de muestreo propuesto generalmente superan a aquellos entrenados con muestreo aleatorio en conjuntos de datos pequeños. Estas características lo convierten en un enfoque de entrenamiento altamente eficiente y efectivo para modelos de aprendizaje automático. Más detalles se pueden encontrar en el repositorio del proyecto en GitHub.