Segmentación de instancias en tiempo real guiada por atención de píxeles para cerdos criados en grupo
Autores: Jia, Zongwei; Wang, Zhichuan; Zhao, Chenyu; Zhang, Ningning; Wen, Xinyue; Hu, Zhiwei
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Segmentación de instancias en tiempo real guiada por atención de píxeles para cerdos criados en grupo
Categoría
Ciencias Agrícolas y Biológicas
Subcategoría
Zootecnia
Palabras clave
Segmentación de instancias
Agricultura
Granjas de cerdos
Segmentación
Utilización de características
Módulo de atención
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 9
Citaciones: Sin citaciones
La segmentación de instancias es crucial para la agricultura moderna y la gestión de granjas de cerdos. En entornos agrícolas prácticos, surgen desafíos debido a la adhesión mutua, la oclusión y los cambios dinámicos en la postura corporal entre los cerdos, lo que hace que la segmentación precisa de múltiples cerdos objetivo sea compleja. Para abordar estos desafíos, realizamos experimentos utilizando datos de video capturados desde diferentes ángulos y lentes no fijos. Seleccionamos 45 cerdos de entre 20 y 105 días de ocho corrales como sujetos de investigación. Entre estos, 1917 imágenes fueron etiquetadas meticulosamente, con 959 imágenes designadas para el conjunto de entrenamiento, 192 para validación y 766 para pruebas. Para mejorar la utilización de características y abordar las limitaciones en el proceso de fusión entre mapas de características de abajo hacia arriba y de arriba hacia abajo dentro del módulo de red de pirámide de características (FPN) del modelo YOLACT, proponemos un módulo de atención auto-píxel (PSA), incorporando atención conjunta de canal y espacial. El módulo PSA se integra sin problemas en múltiples etapas de la extracción de características FPN dentro del modelo YOLACT. Utilizamos ResNet50 y ResNet101 como redes de respaldo y comparamos métricas de rendimiento, incluyendo AP, AP, AP y AR, entre el modelo YOLACT con el módulo PSA y los modelos YOLACT equipados con módulos de atención BAM, CBAM y SCSE. Los resultados experimentales indicaron que el módulo de atención PSA supera a BAM, CBAM y SCSE, independientemente de la red de respaldo seleccionada. En particular, al emplear ResNet101 como red de respaldo, la integración del módulo PSA produce una mejora del 2.7% sobre la ausencia de atención, 2.3% sobre BAM, 2.4% sobre CBAM y 2.1% sobre SCSE en la métrica AP. Visualizamos máscaras prototipo dentro de YOLACT para elucidar el mecanismo del modelo. Además, visualizamos la atención PSA para confirmar su capacidad de capturar información valiosa relacionada con los cerdos. Adicionalmente, validamos el rendimiento de transferencia de nuestro modelo en un conjunto de datos de vista de arriba hacia abajo, afirmando la robustez del modelo YOLACT con el módulo PSA.
Descripción
La segmentación de instancias es crucial para la agricultura moderna y la gestión de granjas de cerdos. En entornos agrícolas prácticos, surgen desafíos debido a la adhesión mutua, la oclusión y los cambios dinámicos en la postura corporal entre los cerdos, lo que hace que la segmentación precisa de múltiples cerdos objetivo sea compleja. Para abordar estos desafíos, realizamos experimentos utilizando datos de video capturados desde diferentes ángulos y lentes no fijos. Seleccionamos 45 cerdos de entre 20 y 105 días de ocho corrales como sujetos de investigación. Entre estos, 1917 imágenes fueron etiquetadas meticulosamente, con 959 imágenes designadas para el conjunto de entrenamiento, 192 para validación y 766 para pruebas. Para mejorar la utilización de características y abordar las limitaciones en el proceso de fusión entre mapas de características de abajo hacia arriba y de arriba hacia abajo dentro del módulo de red de pirámide de características (FPN) del modelo YOLACT, proponemos un módulo de atención auto-píxel (PSA), incorporando atención conjunta de canal y espacial. El módulo PSA se integra sin problemas en múltiples etapas de la extracción de características FPN dentro del modelo YOLACT. Utilizamos ResNet50 y ResNet101 como redes de respaldo y comparamos métricas de rendimiento, incluyendo AP, AP, AP y AR, entre el modelo YOLACT con el módulo PSA y los modelos YOLACT equipados con módulos de atención BAM, CBAM y SCSE. Los resultados experimentales indicaron que el módulo de atención PSA supera a BAM, CBAM y SCSE, independientemente de la red de respaldo seleccionada. En particular, al emplear ResNet101 como red de respaldo, la integración del módulo PSA produce una mejora del 2.7% sobre la ausencia de atención, 2.3% sobre BAM, 2.4% sobre CBAM y 2.1% sobre SCSE en la métrica AP. Visualizamos máscaras prototipo dentro de YOLACT para elucidar el mecanismo del modelo. Además, visualizamos la atención PSA para confirmar su capacidad de capturar información valiosa relacionada con los cerdos. Adicionalmente, validamos el rendimiento de transferencia de nuestro modelo en un conjunto de datos de vista de arriba hacia abajo, afirmando la robustez del modelo YOLACT con el módulo PSA.