logo móvil
Contáctanos

La fusión de características multimodales para la cartografía de malas hierbas en campos utilizando imágenes RGB e infrarrojas cercanas

Autores: Fan, Xijian; Ge, Chunlei; Yang, Xubing; Wang, Weice

Idioma: Inglés

Editor: MDPI

Año: 2024

Descargar PDF

Acceso abierto

Artículo científico
2024

La fusión de características multimodales para la cartografía de malas hierbas en campos utilizando imágenes RGB e infrarrojas cercanas


Categoría

Ciencias Agrícolas y Biológicas

Subcategoría

Ciencias Agrícolas y Biológicas Generales

Palabras clave

Mapeo
Malezas
Campos agrícolas
CMFNet
RGB
NIR

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 37

Citaciones: Sin citaciones


Descripción
El mapeo preciso de las malas hierbas en campos agrícolas es esencial para un control efectivo de las malas hierbas y una productividad agrícola mejorada. Avanzando más allá de las limitaciones de la imaginería RGB sola, este estudio presenta una red de fusión de características multimodales (CMFNet) diseñada para un mapeo preciso de malas hierbas al integrar imágenes RGB e imágenes de infrarrojo cercano (NIR). CMFNet primero aplica mejora del espacio de color y ecualización adaptativa del histograma para mejorar el brillo y contraste de la imagen en ambas imágenes RGB y NIR. Sobre la base de un marco de segmentación basado en Transformer, se introduce un módulo de mejora de características multi-escala cruzada, que presenta interacción de características espaciales y de canal para capturar automáticamente información complementaria a través de dos modalidades. Las características mejoradas se fusionan y refinan aún más mediante la integración de un mecanismo de atención, que reduce la interferencia de fondo y mejora la precisión de la segmentación. Experimentos extensos realizados en dos conjuntos de datos públicos, los conjuntos de datos de remolacha azucarera 2016 y girasol, demuestran que CMFNet supera significativamente a los modelos de segmentación basados en CNN en la tarea de segmentación de malas hierbas y cultivos. El modelo logró una métrica de Intersección sobre Unión (IoU) del 90.86% y 90.77%, junto con una Precisión Media (mAcc) del 93.8% y 94.35%, respectivamente. Los estudios de ablación validan aún más que el método de fusión multimodal propuesto proporciona mejoras sustanciales sobre los métodos básicos de fusión de características, localizando efectivamente regiones de malas hierbas y cultivos en diversas condiciones de campo. Estos hallazgos subrayan su potencial como una solución robusta para un mapeo preciso y adaptativo de malas hierbas en paisajes agrícolas complejos.

Otros recursos que podrían interesarte

Temas Virtualpro