Transformador guiado por centro para segmentación panóptica
Autores: Baek, Jong-Hyeon; Lee, Hee Kyung; Choo, Hyon-Gon; Jung, Soon-heung; Koh, Yeong Jun
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Transformador guiado por centro para segmentación panóptica
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Segmentación panóptica
Consultas
Aprendizaje
Cosa
Cosas
Red
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 41
Citaciones: Sin citaciones
Se propone en este trabajo una red de segmentación panóptica para predecir máscaras y clases de objetos y elementos en imágenes. Recientemente, la segmentación panóptica ha avanzado a través de la combinación de los enfoques de aprendizaje basado en consultas y de aprendizaje de extremo a extremo. La investigación actual se centra en aprender consultas sin distinguir entre clases de objetos y elementos. Presentamos el aprendizaje de consultas desacopladas para generar consultas efectivas de objetos y elementos para la segmentación panóptica. Para este propósito, adoptamos flujos de trabajo diferentes para las consultas de objetos y elementos. Diseñamos la selección de consultas guiadas por el centro para las consultas de objetos, que se centra en las regiones centrales de las instancias individuales en imágenes, mientras que establecemos las consultas de elementos como incrustaciones inicializadas aleatoriamente. Además, aplicamos una máscara de desacoplamiento a la autoatención de las características de las consultas para evitar interacciones entre objetos y elementos. En el proceso de selección de consultas, generamos un mapa de calor central que guía la selección de consultas de objetos. Los resultados experimentales demuestran que la red de segmentación panóptica propuesta supera al estado del arte en dos conjuntos de datos de segmentación panóptica.
Descripción
Se propone en este trabajo una red de segmentación panóptica para predecir máscaras y clases de objetos y elementos en imágenes. Recientemente, la segmentación panóptica ha avanzado a través de la combinación de los enfoques de aprendizaje basado en consultas y de aprendizaje de extremo a extremo. La investigación actual se centra en aprender consultas sin distinguir entre clases de objetos y elementos. Presentamos el aprendizaje de consultas desacopladas para generar consultas efectivas de objetos y elementos para la segmentación panóptica. Para este propósito, adoptamos flujos de trabajo diferentes para las consultas de objetos y elementos. Diseñamos la selección de consultas guiadas por el centro para las consultas de objetos, que se centra en las regiones centrales de las instancias individuales en imágenes, mientras que establecemos las consultas de elementos como incrustaciones inicializadas aleatoriamente. Además, aplicamos una máscara de desacoplamiento a la autoatención de las características de las consultas para evitar interacciones entre objetos y elementos. En el proceso de selección de consultas, generamos un mapa de calor central que guía la selección de consultas de objetos. Los resultados experimentales demuestran que la red de segmentación panóptica propuesta supera al estado del arte en dos conjuntos de datos de segmentación panóptica.