HFMM-Net: Una Red de Fusión Híbrida Mamba para la Detección Eficiente de Defectos Industriales Multimodales
Autores: Zhao, Guo; Tan, Liang; He, Musong; Wu, Qi
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
HFMM-Net: Una Red de Fusión Híbrida Mamba para la Detección Eficiente de Defectos Industriales Multimodales
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Demanda creciente
Rendimiento en tiempo real
Métodos de detección multimodal
Marco de detección de anomalías
Interacción de características
Fusión de características.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Con la creciente demanda de mayor precisión y rendimiento en tiempo real en la detección de defectos en superficies industriales, los métodos de detección multimodal que integran imágenes RGB y nubes de puntos 3D han atraído considerable atención. Sin embargo, los métodos actuales más utilizados suelen emplear modelos basados en Transformer que son computacionalmente costosos para capturar características globales, lo que resulta en retrasos significativos en la inferencia que obstaculizan su implementación práctica para tareas de inspección en línea. Además, los enfoques existentes muestran una capacidad limitada en interacciones profundas entre modalidades, lo que impacta negativamente en la precisión de la detección y segmentación de defectos. En este artículo, proponemos un nuevo marco de detección de anomalías multimodal basado en una red Mamba bidireccional para mejorar la interacción y fusión de características entre modalidades. Específicamente, introducimos una red de extracción de características paralela consciente de anomalías, aprovechando un modelo híbrido de espacio de estados de escaneo (SSM) para capturar de manera eficiente dependencias globales y de largo alcance con complejidad computacional lineal. Además, desarrollamos un módulo de fusión de características mejoradas cruzadas para facilitar la interacción dinámica y la fusión adaptativa de características multimodales a múltiples escalas. Experimentos extensivos realizados en dos conjuntos de datos de referencia disponibles públicamente, MVTec 3D-AD y Eyecandies, demuestran que el método propuesto supera consistentemente a los enfoques existentes tanto en tareas de detección de defectos como de segmentación.
Descripción
Con la creciente demanda de mayor precisión y rendimiento en tiempo real en la detección de defectos en superficies industriales, los métodos de detección multimodal que integran imágenes RGB y nubes de puntos 3D han atraído considerable atención. Sin embargo, los métodos actuales más utilizados suelen emplear modelos basados en Transformer que son computacionalmente costosos para capturar características globales, lo que resulta en retrasos significativos en la inferencia que obstaculizan su implementación práctica para tareas de inspección en línea. Además, los enfoques existentes muestran una capacidad limitada en interacciones profundas entre modalidades, lo que impacta negativamente en la precisión de la detección y segmentación de defectos. En este artículo, proponemos un nuevo marco de detección de anomalías multimodal basado en una red Mamba bidireccional para mejorar la interacción y fusión de características entre modalidades. Específicamente, introducimos una red de extracción de características paralela consciente de anomalías, aprovechando un modelo híbrido de espacio de estados de escaneo (SSM) para capturar de manera eficiente dependencias globales y de largo alcance con complejidad computacional lineal. Además, desarrollamos un módulo de fusión de características mejoradas cruzadas para facilitar la interacción dinámica y la fusión adaptativa de características multimodales a múltiples escalas. Experimentos extensivos realizados en dos conjuntos de datos de referencia disponibles públicamente, MVTec 3D-AD y Eyecandies, demuestran que el método propuesto supera consistentemente a los enfoques existentes tanto en tareas de detección de defectos como de segmentación.