Un enfoque de muestreo de parches basado en saliencia para el reconocimiento profundo de medios artísticos
Autores: Yang, Heekyung; Min, Kyungha
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Un enfoque de muestreo de parches basado en saliencia para el reconocimiento profundo de medios artísticos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Estrategia de muestreo de parches
Medios artísticos
Modelo de reconocimiento de medios profundos
Red neuronal convolucional
Patrones de trazo de medios
Valores de saliencia
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 29
Citaciones: Sin citaciones
Presentamos una estrategia de muestreo de parches basada en la saliencia para reconocer medios artísticos a partir de imágenes de obras de arte utilizando un modelo de reconocimiento de medios profundos, que está compuesto por varios módulos de reconocimiento basados en redes neuronales convolucionales profundas. Las decisiones de los módulos individuales se fusionan en la decisión final del modelo. Para muestrear un parche adecuado para la entrada del módulo, ideamos una estrategia que muestrea parches con altas probabilidades de contener patrones distintivos de trazos de medios para medios artísticos sin distorsión, ya que los patrones de trazos de medios son clave para el reconocimiento de medios. Diseñamos esta estrategia recolectando parches de verdad terreno seleccionados por humanos y analizando la distribución de los valores de saliencia de los parches. A partir de este análisis, construimos una estrategia que muestrea parches que tienen una alta probabilidad de contener patrones de trazos de medios. Demostramos que nuestra estrategia muestra el mejor rendimiento entre las estrategias de muestreo de parches existentes y que nuestra estrategia muestra un patrón consistente de reconocimiento y confusión con las estrategias existentes.
Descripción
Presentamos una estrategia de muestreo de parches basada en la saliencia para reconocer medios artísticos a partir de imágenes de obras de arte utilizando un modelo de reconocimiento de medios profundos, que está compuesto por varios módulos de reconocimiento basados en redes neuronales convolucionales profundas. Las decisiones de los módulos individuales se fusionan en la decisión final del modelo. Para muestrear un parche adecuado para la entrada del módulo, ideamos una estrategia que muestrea parches con altas probabilidades de contener patrones distintivos de trazos de medios para medios artísticos sin distorsión, ya que los patrones de trazos de medios son clave para el reconocimiento de medios. Diseñamos esta estrategia recolectando parches de verdad terreno seleccionados por humanos y analizando la distribución de los valores de saliencia de los parches. A partir de este análisis, construimos una estrategia que muestrea parches que tienen una alta probabilidad de contener patrones de trazos de medios. Demostramos que nuestra estrategia muestra el mejor rendimiento entre las estrategias de muestreo de parches existentes y que nuestra estrategia muestra un patrón consistente de reconocimiento y confusión con las estrategias existentes.