Alineación de Información Multi-Dimensional en Diferentes Modalidades para Aprendizaje Generalizado de Cero Tiros y Pocos Tiros
Autores: Cai, Jiyan; Wu, Libing; Wu, Dan; Li, Jianxin; Wu, Xianfeng
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Alineación de Información Multi-Dimensional en Diferentes Modalidades para Aprendizaje Generalizado de Cero Tiros y Pocos Tiros
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Aprendizaje generalizado sin ejemplos
GZSL
Categorías no vistas
Muestras de entrenamiento
Descripción semántica
Información visual
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
El aprendizaje generalizado sin muestras (GZSL) tiene como objetivo resolver las tareas de reconocimiento de categorías para categorías no vistas bajo la premisa de que las muestras de entrenamiento solo contienen clases vistas, mientras que las clases no vistas no están disponibles. Esta investigación es vital, ya que siempre existen nuevas categorías y grandes cantidades de datos no etiquetados en escenarios realistas. Trabajos anteriores sobre GZSL generalmente mapean la información visual de las clases visibles y la descripción semántica de las clases invisibles en el mismo espacio de incrustación para cerrar la brecha entre las clases visibles e invisibles disjuntas, mientras ignoran las características intrínsecas de las imágenes visuales, que son suficientemente discriminativas para clasificarse a sí mismas. Para utilizar mejor la información discriminativa de las clases visuales para GZSL, proponemos el n-CADA-VAE. En nuestro enfoque, mapeamos la característica visual de las clases vistas a una distribución de alta dimensión mientras mapeamos la descripción semántica de las clases no vistas a una distribución de baja dimensión bajo el mismo espacio de incrustación latente, proyectando así la información de diferentes modalidades a posiciones espaciales correspondientes de manera más precisa. Realizamos extensos experimentos en cuatro conjuntos de datos de referencia (CUB, SUN, AWA1 y AWA2). Los resultados muestran el rendimiento superior de nuestro modelo en aprendizaje generalizado sin muestras, así como en aprendizaje con pocas muestras.
Descripción
El aprendizaje generalizado sin muestras (GZSL) tiene como objetivo resolver las tareas de reconocimiento de categorías para categorías no vistas bajo la premisa de que las muestras de entrenamiento solo contienen clases vistas, mientras que las clases no vistas no están disponibles. Esta investigación es vital, ya que siempre existen nuevas categorías y grandes cantidades de datos no etiquetados en escenarios realistas. Trabajos anteriores sobre GZSL generalmente mapean la información visual de las clases visibles y la descripción semántica de las clases invisibles en el mismo espacio de incrustación para cerrar la brecha entre las clases visibles e invisibles disjuntas, mientras ignoran las características intrínsecas de las imágenes visuales, que son suficientemente discriminativas para clasificarse a sí mismas. Para utilizar mejor la información discriminativa de las clases visuales para GZSL, proponemos el n-CADA-VAE. En nuestro enfoque, mapeamos la característica visual de las clases vistas a una distribución de alta dimensión mientras mapeamos la descripción semántica de las clases no vistas a una distribución de baja dimensión bajo el mismo espacio de incrustación latente, proyectando así la información de diferentes modalidades a posiciones espaciales correspondientes de manera más precisa. Realizamos extensos experimentos en cuatro conjuntos de datos de referencia (CUB, SUN, AWA1 y AWA2). Los resultados muestran el rendimiento superior de nuestro modelo en aprendizaje generalizado sin muestras, así como en aprendizaje con pocas muestras.