Aumentaciones de entrada basadas en SAM y estrategias de conjunto para la segmentación de imágenes
Autores: Carisi, Lorenzo; Chiereghin, Francesco; Fantozzi, Carlo; Nanni, Loris
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Aumentaciones de entrada basadas en SAM y estrategias de conjunto para la segmentación de imágenes
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Progreso notable
Aprendizaje profundo
Segmentación de imágenes
Técnicas de aumento de datos
Estrategias de conjunto
Modelo de Segmentación de Todo
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
A pesar del notable progreso del aprendizaje profundo en la segmentación de imágenes, los modelos a menudo tienen dificultades para generalizar en conjuntos de datos diversos. Este estudio explora nuevas técnicas de aumento de entrada y estrategias de conjunto para mejorar el rendimiento de la segmentación de imágenes. Investigamos cómo el Modelo Segment Anything (SAM) puede producir información relevante para el entrenamiento del modelo. Creemos que SAM ofrece una fuente prometedora de información previa que puede ser aprovechada para mejorar la robustez y la precisión. Basándonos en esto, proponemos técnicas de aumento de entrada que integran la información de SAM directamente en las imágenes, mejorando el proceso de aprendizaje de los modelos de segmentación. Cada método de aumento propuesto tiene sus ventajas únicas; por lo tanto, para aprovechar las fortalezas de cada enfoque, introducimos AuxMix, un modelo entrenado con una combinación de métodos de aumento basados en SAM. Realizamos experimentos en diferentes modelos de segmentación de última generación, evaluando los efectos de cada método de forma independiente y dentro de un marco de conjunto. Los resultados muestran que nuestra estrategia de conjunto, que combina información complementaria de cada aumento, conduce a un rendimiento de segmentación robusto y mejorado en un gran conjunto de datos. Utilizamos solo conjuntos de datos disponibles públicamente en nuestros experimentos, y todo el código desarrollado para reproducir nuestros resultados está disponible en línea en GitHub.
Descripción
A pesar del notable progreso del aprendizaje profundo en la segmentación de imágenes, los modelos a menudo tienen dificultades para generalizar en conjuntos de datos diversos. Este estudio explora nuevas técnicas de aumento de entrada y estrategias de conjunto para mejorar el rendimiento de la segmentación de imágenes. Investigamos cómo el Modelo Segment Anything (SAM) puede producir información relevante para el entrenamiento del modelo. Creemos que SAM ofrece una fuente prometedora de información previa que puede ser aprovechada para mejorar la robustez y la precisión. Basándonos en esto, proponemos técnicas de aumento de entrada que integran la información de SAM directamente en las imágenes, mejorando el proceso de aprendizaje de los modelos de segmentación. Cada método de aumento propuesto tiene sus ventajas únicas; por lo tanto, para aprovechar las fortalezas de cada enfoque, introducimos AuxMix, un modelo entrenado con una combinación de métodos de aumento basados en SAM. Realizamos experimentos en diferentes modelos de segmentación de última generación, evaluando los efectos de cada método de forma independiente y dentro de un marco de conjunto. Los resultados muestran que nuestra estrategia de conjunto, que combina información complementaria de cada aumento, conduce a un rendimiento de segmentación robusto y mejorado en un gran conjunto de datos. Utilizamos solo conjuntos de datos disponibles públicamente en nuestros experimentos, y todo el código desarrollado para reproducir nuestros resultados está disponible en línea en GitHub.