Identificación de defectos en fresas mediante fusión de imágenes infrarrojas y visibles con aprendizaje profundo
Autores: Lu, Yuze; Gong, Mali; Li, Jing; Ma, Jianshe
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Identificación de defectos en fresas mediante fusión de imágenes infrarrojas y visibles con aprendizaje profundo
Categoría
Ciencias Agrícolas y Biológicas
Subcategoría
Agronomía y Ciencia de los Cultivos
Palabras clave
Defectos
Etapa de madurez
Hiperespectral
Imagen RGB
Imagen NIR
Método de fusión
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 20
Citaciones: Sin citaciones
La detección de características de múltiples defectos en fresas y la etapa de madurez enfrenta enormes desafíos debido a la diversidad de color y similitud visual. Las imágenes de fuentes de información hiperespectral de infrarrojo cercano (NIR) también están limitadas por su baja resolución espacial. En este estudio, se propuso un método de fusión de imágenes precisa RGB (con una resolución espacial de píxeles) y NIR (que varía de 700 a 1100 nm en longitud de onda, cubriendo 146 bandas, y con una resolución espacial de píxeles) para mejorar la detección de defectos y características en fresas. Este método de fusión se basó en un modelo VGG-19 preentrenado. Las partes de alta frecuencia de los pares de imágenes originales RGB y NIR fueron filtradas y alimentadas simultáneamente en el VGG-19 preentrenado. Las características de alta frecuencia fueron extraídas y enviadas a las capas ReLU; se utilizó la norma - para fusionar múltiples mapas de características en un mapa de características, y se introdujo el promedio de píxeles de área para evitar el efecto de píxeles extremos. Las partes de alta y baja frecuencia de RGB y NIR se sumaron en una imagen según los pesos de la información al final. En la sección de validación, el conjunto de datos de detección incluyó 4000 imágenes RGB ampliadas y 4000 imágenes NIR (la proporción del conjunto de entrenamiento y prueba fue de 4:1) de 240 muestras de fresas etiquetadas como contaminadas de barro, magulladas, ambos defectos, sin defectos, maduras, medio maduras e inmaduras. La red neuronal de detección YOLOv3-tiny operó en modos de entrada de imagen solo RGB, solo NIR y fusionada, logrando la mayor precisión promedio de 87.18% para el método propuesto. Finalmente, también se estudiaron los efectos de diferentes pesos de RGB y NIR en los resultados de detección. Esta investigación demostró que el método de fusión propuesto puede mejorar enormemente la detección de defectos y características de muestras de fresas.
Descripción
La detección de características de múltiples defectos en fresas y la etapa de madurez enfrenta enormes desafíos debido a la diversidad de color y similitud visual. Las imágenes de fuentes de información hiperespectral de infrarrojo cercano (NIR) también están limitadas por su baja resolución espacial. En este estudio, se propuso un método de fusión de imágenes precisa RGB (con una resolución espacial de píxeles) y NIR (que varía de 700 a 1100 nm en longitud de onda, cubriendo 146 bandas, y con una resolución espacial de píxeles) para mejorar la detección de defectos y características en fresas. Este método de fusión se basó en un modelo VGG-19 preentrenado. Las partes de alta frecuencia de los pares de imágenes originales RGB y NIR fueron filtradas y alimentadas simultáneamente en el VGG-19 preentrenado. Las características de alta frecuencia fueron extraídas y enviadas a las capas ReLU; se utilizó la norma - para fusionar múltiples mapas de características en un mapa de características, y se introdujo el promedio de píxeles de área para evitar el efecto de píxeles extremos. Las partes de alta y baja frecuencia de RGB y NIR se sumaron en una imagen según los pesos de la información al final. En la sección de validación, el conjunto de datos de detección incluyó 4000 imágenes RGB ampliadas y 4000 imágenes NIR (la proporción del conjunto de entrenamiento y prueba fue de 4:1) de 240 muestras de fresas etiquetadas como contaminadas de barro, magulladas, ambos defectos, sin defectos, maduras, medio maduras e inmaduras. La red neuronal de detección YOLOv3-tiny operó en modos de entrada de imagen solo RGB, solo NIR y fusionada, logrando la mayor precisión promedio de 87.18% para el método propuesto. Finalmente, también se estudiaron los efectos de diferentes pesos de RGB y NIR en los resultados de detección. Esta investigación demostró que el método de fusión propuesto puede mejorar enormemente la detección de defectos y características de muestras de fresas.