Detección de obstáculos en 3D basada en Lidar utilizando Focal Voxel R-CNN para entorno agrícola
Autores: Qin, Jia; Sun, Ruizhi; Zhou, Kun; Xu, Yuanyuan; Lin, Banghao; Yang, Lili; Chen, Zhibo; Wen, Long; Wu, Caicong
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Detección de obstáculos en 3D basada en Lidar utilizando Focal Voxel R-CNN para entorno agrícola
Categoría
Ciencias Agrícolas y Biológicas
Subcategoría
Agronomía y Ciencia de los Cultivos
Palabras clave
Agricultura de precisión
Máquinas autónomas
Detección de obstáculos
Aprendizaje profundo
LiDAR
Detección 3D
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
Con avances en la agricultura de precisión, las máquinas agrícolas autónomas pueden reducir la mano de obra humana, optimizar el flujo de trabajo y aumentar la productividad. Los sistemas precisos y confiables de detección y evasión de obstáculos son esenciales para garantizar la seguridad de las máquinas agrícolas automatizadas. Los métodos existentes de detección de obstáculos basados en LiDAR para el entorno agrícola procesan las nubes de puntos a través de características diseñadas manualmente, lo cual es consumidor de tiempo, intensivo en mano de obra y débil en cuanto a generalización. Por el contrario, el aprendizaje profundo tiene la capacidad de aprender características de forma autónoma. En este estudio, intentamos aplicar el aprendizaje profundo en la detección de obstáculos en 3D basada en LiDAR para el entorno agrícola. En cuanto al hardware de percepción, establecimos una plataforma de adquisición de datos que incluye LiDAR, una cámara y un GNSS/INS en la máquina agrícola. En cuanto al método de percepción, considerando las diferentes condiciones agrícolas, utilizamos nuestros conjuntos de datos para entrenar un detector de obstáculos en 3D efectivo, conocido como Focal Voxel R-CNN. Utilizamos la convolución focal dispersa para reemplazar la convolución dispersa 3D original debido a su capacidad adaptable para extraer características efectivas de datos dispersos de nube de puntos. Específicamente, se añadió una rama de convolución dispersa submanifold al principio de la red de convolución base; esto añade peso al punto del primer plano y retiene más información valiosa. En comparación con Voxel R-CNN, el propuesto Focal Voxel R-CNN mejora significativamente el rendimiento de detección para objetos pequeños, y el AP en la clase de peatones aumentó del 89.04% al 92.89%. Los resultados muestran que nuestro modelo obtiene un mAP del 91.43%, que es un 3.36% más alto que el modelo base. La velocidad de detección es de 28.57 FPS, que es 4.18 FPS más rápida que el modelo base. Los experimentos muestran la efectividad de nuestro modelo, que puede proporcionar un modelo de detección de obstáculos más confiable para máquinas agrícolas autónomas.
Descripción
Con avances en la agricultura de precisión, las máquinas agrícolas autónomas pueden reducir la mano de obra humana, optimizar el flujo de trabajo y aumentar la productividad. Los sistemas precisos y confiables de detección y evasión de obstáculos son esenciales para garantizar la seguridad de las máquinas agrícolas automatizadas. Los métodos existentes de detección de obstáculos basados en LiDAR para el entorno agrícola procesan las nubes de puntos a través de características diseñadas manualmente, lo cual es consumidor de tiempo, intensivo en mano de obra y débil en cuanto a generalización. Por el contrario, el aprendizaje profundo tiene la capacidad de aprender características de forma autónoma. En este estudio, intentamos aplicar el aprendizaje profundo en la detección de obstáculos en 3D basada en LiDAR para el entorno agrícola. En cuanto al hardware de percepción, establecimos una plataforma de adquisición de datos que incluye LiDAR, una cámara y un GNSS/INS en la máquina agrícola. En cuanto al método de percepción, considerando las diferentes condiciones agrícolas, utilizamos nuestros conjuntos de datos para entrenar un detector de obstáculos en 3D efectivo, conocido como Focal Voxel R-CNN. Utilizamos la convolución focal dispersa para reemplazar la convolución dispersa 3D original debido a su capacidad adaptable para extraer características efectivas de datos dispersos de nube de puntos. Específicamente, se añadió una rama de convolución dispersa submanifold al principio de la red de convolución base; esto añade peso al punto del primer plano y retiene más información valiosa. En comparación con Voxel R-CNN, el propuesto Focal Voxel R-CNN mejora significativamente el rendimiento de detección para objetos pequeños, y el AP en la clase de peatones aumentó del 89.04% al 92.89%. Los resultados muestran que nuestro modelo obtiene un mAP del 91.43%, que es un 3.36% más alto que el modelo base. La velocidad de detección es de 28.57 FPS, que es 4.18 FPS más rápida que el modelo base. Los experimentos muestran la efectividad de nuestro modelo, que puede proporcionar un modelo de detección de obstáculos más confiable para máquinas agrícolas autónomas.