Un marco de generación de historias multimodal con orientación de trama impulsada por IA
Autores: Kim, Juntae; Heo, Yoonseok; Yu, Hogeon; Nang, Jongho
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un marco de generación de historias multimodal con orientación de trama impulsada por IA
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Sistema automático de generación de historias
Coherencia
Marco de generación de historias multimodal
Modelo de orientación de trama basado en codificador transformador
Modelo de generación de historias basado en decodificador transformador
Modelo de visualización de historias basado en difusión
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
Un sistema automático de generación de historias genera continuamente historias con una trama natural. El principal desafío de la generación automática de historias es mantener la coherencia entre las historias generadas consecutivamente sin necesidad de intervención humana. Para abordar esto, proponemos un novedoso marco de generación de historias multimodal que incluye capacidades de toma de decisiones automatizadas sobre la trama. Nuestro marco consta de tres modelos independientes: un modelo de orientación de trama basado en un codificador transformador, que predice una trama utilizando un problema de preguntas y respuestas de opción múltiple; un modelo de generación de historias basado en un decodificador transformador que crea una historia que describe la trama determinada por el modelo de orientación; y un modelo de visualización de historias basado en difusión que genera una imagen representativa que describe visualmente una escena para ayudar a los lectores a comprender mejor el flujo de la historia. Nuestro marco propuesto fue evaluado extensamente a través de evaluaciones automáticas y humanas, que demuestran que nuestro modelo supera al enfoque anterior, lo que sugiere la efectividad de nuestro modelo de orientación de trama para hacer planes adecuados.
Descripción
Un sistema automático de generación de historias genera continuamente historias con una trama natural. El principal desafío de la generación automática de historias es mantener la coherencia entre las historias generadas consecutivamente sin necesidad de intervención humana. Para abordar esto, proponemos un novedoso marco de generación de historias multimodal que incluye capacidades de toma de decisiones automatizadas sobre la trama. Nuestro marco consta de tres modelos independientes: un modelo de orientación de trama basado en un codificador transformador, que predice una trama utilizando un problema de preguntas y respuestas de opción múltiple; un modelo de generación de historias basado en un decodificador transformador que crea una historia que describe la trama determinada por el modelo de orientación; y un modelo de visualización de historias basado en difusión que genera una imagen representativa que describe visualmente una escena para ayudar a los lectores a comprender mejor el flujo de la historia. Nuestro marco propuesto fue evaluado extensamente a través de evaluaciones automáticas y humanas, que demuestran que nuestro modelo supera al enfoque anterior, lo que sugiere la efectividad de nuestro modelo de orientación de trama para hacer planes adecuados.