Detección de objetos con pocas muestras con propuesta contrastiva de memoria basada en prioridades semánticas
Autores: Xiao, Linlin; Xu, Huahu; Xiao, Junsheng; Huang, Yuzhe
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Detección de objetos con pocas muestras con propuesta contrastiva de memoria basada en prioridades semánticas
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Detección de objetos de pocas tomas
Clases novedosas
Información semántica
Aprendizaje contrastivo
Clasificación
Detección
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 38
Citaciones: Sin citaciones
La detección de objetos de pocos disparos (FSOD) tiene como objetivo detectar objetos pertenecientes a clases novedosas con pocas muestras de entrenamiento. Con el pequeño número de muestras de clases novedosas, la información visual extraída es insuficiente para representar con precisión el objeto en sí, presentando una variación significativa intra-clase y confusión entre clases de muestras similares, lo que resulta en grandes errores en los resultados de detección de las muestras de clases novedosas. Proponemos un marco de detección de objetos de pocos disparos para lograr una clasificación y detección efectivas mediante la incrustación de información semántica y aprendizaje contrastivo. En primer lugar, introducimos un módulo de fusión semántica (SF), que proyecta información espacial semántica en el espacio visual para la interacción, para compensar la falta de información visual y mejorar aún más la representación de la información de características. Para mejorar aún más el rendimiento de la clasificación, incrustamos el módulo de propuesta contrastiva de memoria (MCP) para ajustar la distribución del espacio de características mediante el cálculo de la pérdida contrastiva entre las características centradas en la clase de muestras anteriores y las características de entrada actuales para obtener un espacio de incrustación más discriminativo para una mejor agregación intra-clase y separación inter-clase para la clasificación y detección posteriores. Experimentos extensos en los conjuntos de datos PASCAL VOC y MS-COCO muestran que el rendimiento de nuestro método propuesto se mejora de manera efectiva. Nuestro método propuesto mejora el nAP50 sobre el modelo de referencia en un 4.5% y 3.5%.
Descripción
La detección de objetos de pocos disparos (FSOD) tiene como objetivo detectar objetos pertenecientes a clases novedosas con pocas muestras de entrenamiento. Con el pequeño número de muestras de clases novedosas, la información visual extraída es insuficiente para representar con precisión el objeto en sí, presentando una variación significativa intra-clase y confusión entre clases de muestras similares, lo que resulta en grandes errores en los resultados de detección de las muestras de clases novedosas. Proponemos un marco de detección de objetos de pocos disparos para lograr una clasificación y detección efectivas mediante la incrustación de información semántica y aprendizaje contrastivo. En primer lugar, introducimos un módulo de fusión semántica (SF), que proyecta información espacial semántica en el espacio visual para la interacción, para compensar la falta de información visual y mejorar aún más la representación de la información de características. Para mejorar aún más el rendimiento de la clasificación, incrustamos el módulo de propuesta contrastiva de memoria (MCP) para ajustar la distribución del espacio de características mediante el cálculo de la pérdida contrastiva entre las características centradas en la clase de muestras anteriores y las características de entrada actuales para obtener un espacio de incrustación más discriminativo para una mejor agregación intra-clase y separación inter-clase para la clasificación y detección posteriores. Experimentos extensos en los conjuntos de datos PASCAL VOC y MS-COCO muestran que el rendimiento de nuestro método propuesto se mejora de manera efectiva. Nuestro método propuesto mejora el nAP50 sobre el modelo de referencia en un 4.5% y 3.5%.