logo móvil
Contáctanos

Representaciones vectoriales densas globales para palabras o elementos utilizando el modelo alternativo compartido de Tweedie

Autores: Kim, Taejoon; Wang, Haiyan

Idioma: Inglés

Editor: MDPI

Año: 2025

Descargar PDF

Acceso abierto

Artículo científico
2025

Representaciones vectoriales densas globales para palabras o elementos utilizando el modelo alternativo compartido de Tweedie


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Modelo
Co-ocurrencia
Datos
Algoritmo
Parámetros
Incrustaciones

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 24

Citaciones: Sin citaciones


Descripción
En este artículo, presentamos un modelo para analizar los datos de recuento de co-ocurrencia derivados de campos prácticos como datos de usuario-elemento o elemento-elemento de plataformas de compras en línea y pares de palabras-palabras co-ocurrentes en secuencias de textos. Tales datos contienen información importante para desarrollar sistemas de recomendación o estudiar la relevancia de elementos o palabras a partir de fuentes no numéricas. A diferencia de los modelos de regresión tradicionales, no hay observaciones para covariables. Además, la matriz de co-ocurrencia suele tener una dimensión tan alta que no cabe en la memoria de una computadora para modelar. Extraemos datos numéricos definiendo ventanas de co-ocurrencia utilizando recuentos ponderados en la escala continua. Se permite masa de probabilidad positiva para cero observaciones. Presentamos el modelo Shared Parameter Alternating Tweedie (SA-Tweedie) y un algoritmo para estimar los parámetros. Introducimos un ajuste de la tasa de aprendizaje utilizado junto con el método de puntuación de Fisher en el bucle interno para ayudar al algoritmo a mantenerse en el camino con la dirección de optimización. El descenso de gradiente con la actualización de Adam también se consideró como un método alternativo para la estimación. Los estudios de simulación mostraron que nuestro algoritmo con puntuación de Fisher y ajuste de tasa de aprendizaje supera a los otros dos métodos. Aplicamos SA-Tweedie a los datos de volcado de Wikipedia en inglés para obtener representaciones vectoriales densas para tokens de WordPiece. Las incrustaciones de representación vectorial se utilizaron luego en una aplicación de la tarea de Reconocimiento de Entidades Nombradas (NER). Las incrustaciones de SA-Tweedie superan significativamente a las incrustaciones de GloVe, aleatorias y BERT en la tarea de NER. Una fortaleza notable de la incrustación de SA-Tweedie es que el número de parámetros y el costo de entrenamiento para SA-Tweedie son solo una pequeña fracción de los de BERT.

Otros recursos que podrían interesarte

Temas Virtualpro