Reconocimiento y posicionamiento de brotes de té fresco utilizando el modelo YOLOv4-lighted + ICBAM y la detección RGB-D
Autores: Guo, Shudan; Yoon, Seung-Chul; Li, Lei; Wang, Wei; Zhuang, Hong; Wei, Chaojie; Liu, Yang; Li, Yuwen
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Reconocimiento y posicionamiento de brotes de té fresco utilizando el modelo YOLOv4-lighted + ICBAM y la detección RGB-D
Categoría
Ciencias Agrícolas y Biológicas
Subcategoría
Ciencias Agrícolas y Biológicas Generales
Palabras clave
Brotes de té
Aprendizaje profundo
YOLOv4
Detección de objetos
Método de segmentación
Red de extracción de características
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
Para superar la baja precisión de reconocimiento, la lentitud y la dificultad para localizar los puntos de recolección de brotes de té, este documento se preocupa por el desarrollo de un método de aprendizaje profundo, basado en el algoritmo de detección de objetos You Only Look Once Versión 4 (YOLOv4), para la detección de brotes de té y sus puntos de recolección con máquinas recolectoras de té. El método de segmentación, basado en datos de color y profundidad de una cámara de visión estéreo, se propone para detectar las formas de los brotes de té en espacios 2D y 3D con mayor precisión que utilizando imágenes 2D. El modelo de aprendizaje profundo YOLOv4 para la detección de objetos se modificó para obtener un modelo ligero con un tiempo de inferencia más corto, llamado YOLOv4-lighted. Luego, se agregaron Redes de Squeeze-and-Excitation (SENet), Atención Eficiente de Canales (ECA), Módulo de Atención de Bloque Convolucional (CBAM) y CBAM mejorado (ICBAM) a la capa de salida de la red de extracción de características, para mejorar la precisión de detección de características del té. Finalmente, la Red de Agregación de Trayectorias (PANet) en la red de cuello se simplificó a la Red de Pirámide de Características (FPN). El YOLOv4 ligero con ICBAM, llamado YOLOv4-lighted + ICBAM, se determinó como el modelo de reconocimiento óptimo para la detección de brotes de té en términos de precisión (94.19%), recall (93.50%), puntaje F1 (0.94) y precisión promedio (97.29%). En comparación con el modelo YOLOv4 base, el tamaño del modelo YOLOv4-lighted + ICBAM disminuyó en un 75.18%, y la tasa de cuadros aumentó en un 7.21%. Además, se desarrolló un método para predecir el punto de recolección de cada brote de té detectado mediante la segmentación de los brotes de té en cada cuadro delimitador detectado, con filtrado de cada segmento basado en su profundidad desde la cámara. Los resultados de la prueba mostraron que la tasa de éxito promedio de posicionamiento y el tiempo promedio de posicionamiento fueron del 87.10% y 0.12 s, respectivamente. En conclusión, el método de reconocimiento y posicionamiento propuesto en este documento proporciona una base teórica y un método para la recolección automática de brotes de té.
Descripción
Para superar la baja precisión de reconocimiento, la lentitud y la dificultad para localizar los puntos de recolección de brotes de té, este documento se preocupa por el desarrollo de un método de aprendizaje profundo, basado en el algoritmo de detección de objetos You Only Look Once Versión 4 (YOLOv4), para la detección de brotes de té y sus puntos de recolección con máquinas recolectoras de té. El método de segmentación, basado en datos de color y profundidad de una cámara de visión estéreo, se propone para detectar las formas de los brotes de té en espacios 2D y 3D con mayor precisión que utilizando imágenes 2D. El modelo de aprendizaje profundo YOLOv4 para la detección de objetos se modificó para obtener un modelo ligero con un tiempo de inferencia más corto, llamado YOLOv4-lighted. Luego, se agregaron Redes de Squeeze-and-Excitation (SENet), Atención Eficiente de Canales (ECA), Módulo de Atención de Bloque Convolucional (CBAM) y CBAM mejorado (ICBAM) a la capa de salida de la red de extracción de características, para mejorar la precisión de detección de características del té. Finalmente, la Red de Agregación de Trayectorias (PANet) en la red de cuello se simplificó a la Red de Pirámide de Características (FPN). El YOLOv4 ligero con ICBAM, llamado YOLOv4-lighted + ICBAM, se determinó como el modelo de reconocimiento óptimo para la detección de brotes de té en términos de precisión (94.19%), recall (93.50%), puntaje F1 (0.94) y precisión promedio (97.29%). En comparación con el modelo YOLOv4 base, el tamaño del modelo YOLOv4-lighted + ICBAM disminuyó en un 75.18%, y la tasa de cuadros aumentó en un 7.21%. Además, se desarrolló un método para predecir el punto de recolección de cada brote de té detectado mediante la segmentación de los brotes de té en cada cuadro delimitador detectado, con filtrado de cada segmento basado en su profundidad desde la cámara. Los resultados de la prueba mostraron que la tasa de éxito promedio de posicionamiento y el tiempo promedio de posicionamiento fueron del 87.10% y 0.12 s, respectivamente. En conclusión, el método de reconocimiento y posicionamiento propuesto en este documento proporciona una base teórica y un método para la recolección automática de brotes de té.