Multi-escala y multi-matching para la segmentación semántica de imágenes de enfermedades de plantas de poca muestra
Autores: Yang, Wenji; Hu, Wenchao; Xie, Liping; Yang, Zhenji
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Multi-escala y multi-matching para la segmentación semántica de imágenes de enfermedades de plantas de poca muestra
Categoría
Ciencias Agrícolas y Biológicas
Subcategoría
Agronomía y Ciencia de los Cultivos
Palabras clave
Redes neuronales convolucionales profundas
Segmentación semántica
Métodos de pocos disparos
Enfermedades de plantas
Multi-escala
Prototipos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 20
Citaciones: Sin citaciones
Actualmente, las redes neuronales convolucionales profundas han logrado grandes avances en tareas de segmentación semántica, pero los métodos existentes requieren un gran número de imágenes anotadas para el entrenamiento y no tienen una buena escalabilidad para objetos nuevos. Por lo tanto, los métodos de segmentación semántica de pocas muestras que pueden identificar nuevos objetos con solo una o unas pocas imágenes anotadas están ganando gradualmente atención. Sin embargo, los métodos actuales de segmentación de pocas muestras no pueden segmentar bien las enfermedades de las plantas. Basándose en esta situación, se propone un modelo de segmentación semántica de enfermedades de plantas de pocas muestras con emparejamiento de múltiples escalas y múltiples prototipos (MPM). Este método genera múltiples prototipos y múltiples mapas de características de consulta, y luego se establecen las relaciones entre los prototipos y los mapas de características de consulta. Específicamente, la característica de soporte y la característica de consulta se extraen primero de las capas de alta escala de la red de extracción de características; posteriormente, se utiliza un promedio ponderado enmascarado para la característica de soporte para generar prototipos para una coincidencia de similitud con la característica de consulta. Al mismo tiempo, también fusionamos características de baja escala y características de alta escala para generar otra característica de soporte y característica de consulta que mezclan características detalladas, y luego se genera un nuevo prototipo a través de un promedio ponderado enmascarado para establecer una relación con la característica de consulta de esta escala. Posteriormente, para resolver la deficiencia de la similitud coseno tradicional y la falta de conciencia de distancia espacial, se diseña un módulo CES (similitud euclidiana de coseno) para establecer la relación entre prototipos y mapas de características de consulta. Para verificar la superioridad de nuestro método, se realizan experimentos en nuestro conjunto de datos construido PDID-5, y el mIoU es del 40.5%, que es un 1.7% más alto que el de la red original.
Descripción
Actualmente, las redes neuronales convolucionales profundas han logrado grandes avances en tareas de segmentación semántica, pero los métodos existentes requieren un gran número de imágenes anotadas para el entrenamiento y no tienen una buena escalabilidad para objetos nuevos. Por lo tanto, los métodos de segmentación semántica de pocas muestras que pueden identificar nuevos objetos con solo una o unas pocas imágenes anotadas están ganando gradualmente atención. Sin embargo, los métodos actuales de segmentación de pocas muestras no pueden segmentar bien las enfermedades de las plantas. Basándose en esta situación, se propone un modelo de segmentación semántica de enfermedades de plantas de pocas muestras con emparejamiento de múltiples escalas y múltiples prototipos (MPM). Este método genera múltiples prototipos y múltiples mapas de características de consulta, y luego se establecen las relaciones entre los prototipos y los mapas de características de consulta. Específicamente, la característica de soporte y la característica de consulta se extraen primero de las capas de alta escala de la red de extracción de características; posteriormente, se utiliza un promedio ponderado enmascarado para la característica de soporte para generar prototipos para una coincidencia de similitud con la característica de consulta. Al mismo tiempo, también fusionamos características de baja escala y características de alta escala para generar otra característica de soporte y característica de consulta que mezclan características detalladas, y luego se genera un nuevo prototipo a través de un promedio ponderado enmascarado para establecer una relación con la característica de consulta de esta escala. Posteriormente, para resolver la deficiencia de la similitud coseno tradicional y la falta de conciencia de distancia espacial, se diseña un módulo CES (similitud euclidiana de coseno) para establecer la relación entre prototipos y mapas de características de consulta. Para verificar la superioridad de nuestro método, se realizan experimentos en nuestro conjunto de datos construido PDID-5, y el mIoU es del 40.5%, que es un 1.7% más alto que el de la red original.