Método de composición de imagen basado en una red de análisis de posición espacial
Autores: Li, Xiang; Teng, Guowei; An, Ping; Yao, Haiyan
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Método de composición de imagen basado en una red de análisis de posición espacial
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Composición de imágenes
Red de aprendizaje adversarial profundo
Análisis de posición espacial
Colocación de objetos
Consistencia de apariencia
Generación de sombras
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 41
Citaciones: Sin citaciones
La composición de imágenes realistas tiene como objetivo componer nuevas imágenes fusionando un objeto fuente en una imagen objetivo. Es un problema desafiante debido al marco de trabajo multitarea complejo, que incluye la colocación sensata de objetos, consistencia de apariencia, generación de sombras, etc. La mayoría de los investigadores existentes intentan abordar uno de los problemas. Especialmente antes de la composición, no hay una asignación coincidente entre el objeto fuente y la imagen objetivo, lo que a menudo conduce a resultados poco razonables. Para abordar los problemas anteriores, consideramos la composición de imágenes como un problema de generación de imágenes y proponemos una red de aprendizaje adversario profundo a través del análisis de posición espacial. Nos enfocamos en el segmento de red de análisis y clasificamos los objetos en las imágenes objetivo. Una red de alineación espacial empareja los objetos segmentados con los objetos fuente, y predice una posición de colocación sensata, y una red adversaria genera una imagen compuesta realista con la sombra y reflexión del objeto fuente. Además, utilizamos la información de clasificación de objetos objetivo para filtrar la composición de imágenes poco razonable. Además, presentamos un nuevo conjunto de pruebas para evaluar la generalización de la red para nuestro conjunto de datos de composición de imágenes multitarea. Los extensos resultados experimentales del conjunto de datos de SHU (Universidad de Shanghai) demuestran que nuestra red de análisis de posición espacial profunda mejora notablemente el rendimiento de composición en generaciones realistas, de sombras y reflejos.
Descripción
La composición de imágenes realistas tiene como objetivo componer nuevas imágenes fusionando un objeto fuente en una imagen objetivo. Es un problema desafiante debido al marco de trabajo multitarea complejo, que incluye la colocación sensata de objetos, consistencia de apariencia, generación de sombras, etc. La mayoría de los investigadores existentes intentan abordar uno de los problemas. Especialmente antes de la composición, no hay una asignación coincidente entre el objeto fuente y la imagen objetivo, lo que a menudo conduce a resultados poco razonables. Para abordar los problemas anteriores, consideramos la composición de imágenes como un problema de generación de imágenes y proponemos una red de aprendizaje adversario profundo a través del análisis de posición espacial. Nos enfocamos en el segmento de red de análisis y clasificamos los objetos en las imágenes objetivo. Una red de alineación espacial empareja los objetos segmentados con los objetos fuente, y predice una posición de colocación sensata, y una red adversaria genera una imagen compuesta realista con la sombra y reflexión del objeto fuente. Además, utilizamos la información de clasificación de objetos objetivo para filtrar la composición de imágenes poco razonable. Además, presentamos un nuevo conjunto de pruebas para evaluar la generalización de la red para nuestro conjunto de datos de composición de imágenes multitarea. Los extensos resultados experimentales del conjunto de datos de SHU (Universidad de Shanghai) demuestran que nuestra red de análisis de posición espacial profunda mejora notablemente el rendimiento de composición en generaciones realistas, de sombras y reflejos.