FF-Net: Red Basada en Fusión de Características para la Segmentación Semántica de Nubes de Puntos 3D de Plantas
Autores: Guo, Xindong; Sun, Yu; Yang, Hua
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
FF-Net: Red Basada en Fusión de Características para la Segmentación Semántica de Nubes de Puntos 3D de Plantas
Categoría
Ciencias Agrícolas y Biológicas
Subcategoría
Botánica
Palabras clave
Segmentación semántica
Nubes de puntos 3D
Fenotipado de plantas
Ff-net
Rama de voxel
Rama de puntos
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 11
Citaciones: Sin citaciones
La segmentación semántica de nubes de puntos 3D ha desempeñado un papel importante en el campo del fenotipado de plantas en los últimos años. Sin embargo, los métodos existentes necesitan reducir la muestra de la nube de puntos a un tamaño relativamente pequeño al procesar nubes de puntos de plantas a gran escala, que contienen más de cientos de miles de puntos, lo que no aprovecha al máximo la alta resolución de los dispositivos de escaneo avanzados. Para abordar este problema, proponemos un método basado en la fusión de características llamado FF-Net, que consta de dos ramas, a saber, la rama de vóxeles y la rama de puntos. En particular, la rama de vóxeles divide una nube de puntos en vóxeles y luego emplea convolución 3D dispersa para aprender las características contextuales, y la rama de puntos aprende las características de los puntos dentro de un vóxel para preservar la información detallada de los puntos. Finalmente, se diseñó un módulo basado en atención para fusionar las características de las dos ramas y producir la segmentación final. Realizamos extensos experimentos en dos grandes nubes de puntos de plantas (maíz y tomate), y los resultados mostraron que nuestro método superó a tres modelos comúnmente utilizados en ambos conjuntos de datos y logró el mejor mIoU del 80.95% en el conjunto de datos de maíz y del 86.65% en el conjunto de datos de tomate. Se realizaron extensos experimentos de validación cruzada para evaluar la capacidad de generalización de los modelos, y nuestro método logró resultados de segmentación prometedores. Además, se analizaron las desventajas del método propuesto y se dieron las direcciones para futuros trabajos.
Descripción
La segmentación semántica de nubes de puntos 3D ha desempeñado un papel importante en el campo del fenotipado de plantas en los últimos años. Sin embargo, los métodos existentes necesitan reducir la muestra de la nube de puntos a un tamaño relativamente pequeño al procesar nubes de puntos de plantas a gran escala, que contienen más de cientos de miles de puntos, lo que no aprovecha al máximo la alta resolución de los dispositivos de escaneo avanzados. Para abordar este problema, proponemos un método basado en la fusión de características llamado FF-Net, que consta de dos ramas, a saber, la rama de vóxeles y la rama de puntos. En particular, la rama de vóxeles divide una nube de puntos en vóxeles y luego emplea convolución 3D dispersa para aprender las características contextuales, y la rama de puntos aprende las características de los puntos dentro de un vóxel para preservar la información detallada de los puntos. Finalmente, se diseñó un módulo basado en atención para fusionar las características de las dos ramas y producir la segmentación final. Realizamos extensos experimentos en dos grandes nubes de puntos de plantas (maíz y tomate), y los resultados mostraron que nuestro método superó a tres modelos comúnmente utilizados en ambos conjuntos de datos y logró el mejor mIoU del 80.95% en el conjunto de datos de maíz y del 86.65% en el conjunto de datos de tomate. Se realizaron extensos experimentos de validación cruzada para evaluar la capacidad de generalización de los modelos, y nuestro método logró resultados de segmentación prometedores. Además, se analizaron las desventajas del método propuesto y se dieron las direcciones para futuros trabajos.