Un método refinado de posicionamiento binocular de manzanas con aprendizaje profundo basado en segmentación para la recolección robótica
Autores: Zhang, Huijun; Tang, Chunhong; Sun, Xiaoming; Fu, Longsheng
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un método refinado de posicionamiento binocular de manzanas con aprendizaje profundo basado en segmentación para la recolección robótica
Categoría
Ciencias Agrícolas y Biológicas
Subcategoría
Agronomía y Ciencia de los Cultivos
Palabras clave
Robot cosechador de manzanas
Entorno de huerto
Método de posicionamiento de manzanas
Red Neuronal Convolucional de Región de Máscara
Cámara binocular
Red de segmentación de instancias
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 28
Citaciones: Sin citaciones
Un robot recolector de manzanas es ahora el método más ampliamente aceptado en la sustitución de la recolección de manzanas de baja eficiencia y alto costo intensivo en mano de obra. Aunque la mayoría de la investigación actual sobre robots recolectores de manzanas funciona bien en el laboratorio, la mayoría de ellos son inutilizables en un entorno de huerto debido a un rendimiento insatisfactorio en la posición de las manzanas. En general, falta un método preciso, rápido y ampliamente utilizado para posicionar las manzanas en un robot recolector de manzanas. Algunos métodos de posicionamiento con aprendizaje profundo basado en detección alcanzaron un rendimiento aceptable en algunos huertos. Sin embargo, las manzanas ocultas por otras manzanas, hojas y ramas son ignoradas en estos métodos con aprendizaje profundo basado en detección. Por lo tanto, se desarrolló un método de posicionamiento binocular de manzanas basado en una Red Neuronal Convolucional de Región de Máscara (Mask R-CNN, una red de segmentación de instancias) para lograr un mejor posicionamiento de manzanas. Se adaptó una cámara binocular (Bumblebee XB3) para capturar imágenes binoculares de manzanas. Después, se aplicó un Mask R-CNN para implementar la segmentación de instancias de las imágenes binoculares de manzanas. Luego, se aplicó un emparejamiento de plantillas con una restricción de línea polar paralela para el emparejamiento estéreo de las manzanas. Finalmente, se seleccionaron cuatro pares de puntos característicos de manzanas de las imágenes binoculares para calcular la disparidad y la profundidad. El Mask R-CNN entrenado alcanzó una intersección de unión de detección y segmentación () del 80.11% y 84.39%, respectivamente. El coeficiente de variación () y la precisión de posicionamiento () del posicionamiento binocular fueron de 5.28 mm y 99.49%, respectivamente. La investigación desarrolló un nuevo método para cumplir con el posicionamiento binocular con una red neuronal basada en segmentación.
Descripción
Un robot recolector de manzanas es ahora el método más ampliamente aceptado en la sustitución de la recolección de manzanas de baja eficiencia y alto costo intensivo en mano de obra. Aunque la mayoría de la investigación actual sobre robots recolectores de manzanas funciona bien en el laboratorio, la mayoría de ellos son inutilizables en un entorno de huerto debido a un rendimiento insatisfactorio en la posición de las manzanas. En general, falta un método preciso, rápido y ampliamente utilizado para posicionar las manzanas en un robot recolector de manzanas. Algunos métodos de posicionamiento con aprendizaje profundo basado en detección alcanzaron un rendimiento aceptable en algunos huertos. Sin embargo, las manzanas ocultas por otras manzanas, hojas y ramas son ignoradas en estos métodos con aprendizaje profundo basado en detección. Por lo tanto, se desarrolló un método de posicionamiento binocular de manzanas basado en una Red Neuronal Convolucional de Región de Máscara (Mask R-CNN, una red de segmentación de instancias) para lograr un mejor posicionamiento de manzanas. Se adaptó una cámara binocular (Bumblebee XB3) para capturar imágenes binoculares de manzanas. Después, se aplicó un Mask R-CNN para implementar la segmentación de instancias de las imágenes binoculares de manzanas. Luego, se aplicó un emparejamiento de plantillas con una restricción de línea polar paralela para el emparejamiento estéreo de las manzanas. Finalmente, se seleccionaron cuatro pares de puntos característicos de manzanas de las imágenes binoculares para calcular la disparidad y la profundidad. El Mask R-CNN entrenado alcanzó una intersección de unión de detección y segmentación () del 80.11% y 84.39%, respectivamente. El coeficiente de variación () y la precisión de posicionamiento () del posicionamiento binocular fueron de 5.28 mm y 99.49%, respectivamente. La investigación desarrolló un nuevo método para cumplir con el posicionamiento binocular con una red neuronal basada en segmentación.