Un control basado en doodles para personajes en la visualización de historias
Autores: Yang, Hyemin; Yang, Heekyung; Min, Kyungha
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un control basado en doodles para personajes en la visualización de historias
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Propuesta
Técnica de visualización de historias
Personajes
Modelo de generación de escenas
Técnica de ajuste fino
Bocetos a mano
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 38
Citaciones: Sin citaciones
Proponemos una técnica de visualización de historias que permite a los usuarios controlar la disposición, poses y estilos de los personajes en una escena basada en bocetos de garabatos de entrada del usuario. Nuestro método utiliza un codificador de texto para procesar las indicaciones de escena y un codificador de imagen para manejar los bocetos de garabatos, generando entradas para un modelo de generación de escenas predefinido. Además, logramos un entrenamiento eficiente del modelo ajustando finamente la red base mediante la aplicación de un pequeño conjunto de datos y empleando una técnica de ajuste fino basada en LoRA. Demostramos que nuestro método puede generar personajes con diversas poses y estilos a partir de bocetos de garabatos, y podemos validar las ventajas de nuestro enfoque comparándolo con los resultados de otros estudios de visualización de historias.
Descripción
Proponemos una técnica de visualización de historias que permite a los usuarios controlar la disposición, poses y estilos de los personajes en una escena basada en bocetos de garabatos de entrada del usuario. Nuestro método utiliza un codificador de texto para procesar las indicaciones de escena y un codificador de imagen para manejar los bocetos de garabatos, generando entradas para un modelo de generación de escenas predefinido. Además, logramos un entrenamiento eficiente del modelo ajustando finamente la red base mediante la aplicación de un pequeño conjunto de datos y empleando una técnica de ajuste fino basada en LoRA. Demostramos que nuestro método puede generar personajes con diversas poses y estilos a partir de bocetos de garabatos, y podemos validar las ventajas de nuestro enfoque comparándolo con los resultados de otros estudios de visualización de historias.