Un enfoque jerárquico de modulación latente para la generación de texto controlada
Autores: Zou, Jincheng; Chen, Guorong; Wang, Jian; Zhang, Bao; Hu, Hong; Liu, Cong
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Un enfoque jerárquico de modulación latente para la generación de texto controlada
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Modelos generativos
Autoencoders variacionales
Generación de texto controlable
Modulación latente jerárquica
Factorización de tensores de rango bajo
Generación condicional
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 16
Citaciones: Sin citaciones
Los modelos generativos basados en Autoencoders Variacionales (VAEs) representan un área importante de investigación en Generación de Texto Controlable (CTG). Sin embargo, los enfoques existentes a menudo no explotan completamente el potencial de las variables latentes, lo que lleva a limitaciones tanto en la diversidad como en la consistencia temática del texto generado. Para superar estos desafíos, este documento introduce un nuevo marco basado en Modulación Latente Jerárquica (HLM). El marco incorpora un módulo de modulación de espacio latente jerárquico para la generación e incrustación de parámetros de modulación condicionales. Mediante la utilización de factorización tensorial de rango bajo (LMF), el enfoque combina variables latentes de varias capas y genera parámetros de modulación basados en etiquetas condicionales, lo que permite un control preciso sobre las características durante la generación de texto. Además, se emplean mecanismos de normalización capa por capa y de eliminación aleatoria para abordar problemas como la subutilización de la información condicional y el colapso de los patrones generativos. Realizamos experimentos en cinco modelos de referencia basados en VAEs para generación condicional, y los resultados demuestran la efectividad del marco propuesto.
Descripción
Los modelos generativos basados en Autoencoders Variacionales (VAEs) representan un área importante de investigación en Generación de Texto Controlable (CTG). Sin embargo, los enfoques existentes a menudo no explotan completamente el potencial de las variables latentes, lo que lleva a limitaciones tanto en la diversidad como en la consistencia temática del texto generado. Para superar estos desafíos, este documento introduce un nuevo marco basado en Modulación Latente Jerárquica (HLM). El marco incorpora un módulo de modulación de espacio latente jerárquico para la generación e incrustación de parámetros de modulación condicionales. Mediante la utilización de factorización tensorial de rango bajo (LMF), el enfoque combina variables latentes de varias capas y genera parámetros de modulación basados en etiquetas condicionales, lo que permite un control preciso sobre las características durante la generación de texto. Además, se emplean mecanismos de normalización capa por capa y de eliminación aleatoria para abordar problemas como la subutilización de la información condicional y el colapso de los patrones generativos. Realizamos experimentos en cinco modelos de referencia basados en VAEs para generación condicional, y los resultados demuestran la efectividad del marco propuesto.