Generación sintética de series temporales para inteligencia de decisiones utilizando modelos de lenguaje grandes
Autores: Grigora, Alexandru; Leon, Florin
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Generación sintética de series temporales para inteligencia de decisiones utilizando modelos de lenguaje grandes
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Propuesto
Datos de series temporales
Modelos de lenguaje grandes pre-entrenados
Arquitectura transformadora codificador-decodificador
Ajustado finamente
Técnica QLoRA
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 24
Citaciones: Sin citaciones
Se propone un modelo para generar datos sintéticos de series temporales utilizando modelos de lenguaje grandes pre-entrenados. Comenzando con el modelo base de Google T5, que emplea una arquitectura transformadora codificador-decodificador, el modelo fue pre-entrenado en conjuntos de datos diversos. Luego fue ajustado finamente utilizando la técnica QLoRA, que reduce la complejidad computacional mediante la cuantificación de los parámetros de peso. El proceso implica la tokenización de datos de series temporales a través de la escala media y la cuantización. El rendimiento del modelo fue evaluado con métricas de fidelidad, utilidad y privacidad, mostrando mejoras en fidelidad y utilidad pero un intercambio con una reducción de la privacidad. El modelo propuesto ofrece una base para sistemas de inteligencia de decisión.
Descripción
Se propone un modelo para generar datos sintéticos de series temporales utilizando modelos de lenguaje grandes pre-entrenados. Comenzando con el modelo base de Google T5, que emplea una arquitectura transformadora codificador-decodificador, el modelo fue pre-entrenado en conjuntos de datos diversos. Luego fue ajustado finamente utilizando la técnica QLoRA, que reduce la complejidad computacional mediante la cuantificación de los parámetros de peso. El proceso implica la tokenización de datos de series temporales a través de la escala media y la cuantización. El rendimiento del modelo fue evaluado con métricas de fidelidad, utilidad y privacidad, mostrando mejoras en fidelidad y utilidad pero un intercambio con una reducción de la privacidad. El modelo propuesto ofrece una base para sistemas de inteligencia de decisión.