Un modelado de temas basado en el aprendizaje de indicaciones
Autores: Qiu, Mingjie; Yang, Wenzhong; Wei, Fuyuan; Chen, Mingliang
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un modelado de temas basado en el aprendizaje de indicaciones
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Asignación latente de Dirichlet
Autoencoder variacional
Modelo de tema de prompt
Aprendizaje de prompt
Modelado de temas
Selección de palabras de prompt
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
La mayoría de los modelos de temas existentes se basan en la Asignación Latente de Dirichlet (LDA) o en el autoencoder variacional (VAE), pero estos métodos tienen fallas inherentes. Los supuestos a priori de LDA sobre los documentos pueden no coincidir con la distribución real de los datos, y VAE sufre de pérdida de información durante el proceso de mapeo y reconstrucción, lo que tiende a afectar la efectividad del modelado de temas. Con este fin, proponemos un Modelo de Tema de Pregunta (PTM) que utiliza el aprendizaje de preguntas para el modelado de temas, lo que evita las limitaciones estructurales de LDA y VAE, superando así las deficiencias de los modelos de temas tradicionales. Además, desarrollamos un método de selección de palabras de pregunta que mejora la eficiencia de PTM en la realización de la tarea de modelado de temas. Los resultados experimentales demuestran que PTM supera a los modelos de temas tradicionales en tres conjuntos de datos públicos. Los experimentos de ablación validan aún más que nuestro método propuesto de selección de palabras de pregunta mejora la efectividad de PTM en el modelado de temas.
Descripción
La mayoría de los modelos de temas existentes se basan en la Asignación Latente de Dirichlet (LDA) o en el autoencoder variacional (VAE), pero estos métodos tienen fallas inherentes. Los supuestos a priori de LDA sobre los documentos pueden no coincidir con la distribución real de los datos, y VAE sufre de pérdida de información durante el proceso de mapeo y reconstrucción, lo que tiende a afectar la efectividad del modelado de temas. Con este fin, proponemos un Modelo de Tema de Pregunta (PTM) que utiliza el aprendizaje de preguntas para el modelado de temas, lo que evita las limitaciones estructurales de LDA y VAE, superando así las deficiencias de los modelos de temas tradicionales. Además, desarrollamos un método de selección de palabras de pregunta que mejora la eficiencia de PTM en la realización de la tarea de modelado de temas. Los resultados experimentales demuestran que PTM supera a los modelos de temas tradicionales en tres conjuntos de datos públicos. Los experimentos de ablación validan aún más que nuestro método propuesto de selección de palabras de pregunta mejora la efectividad de PTM en el modelado de temas.