La red actual para la segmentación semántica de defectos en ruedas de molienda de doble tarea carece de diseños ligeros de alta precisión, lo que dificulta equilibrar la ligereza y la precisión de la segmentación, limitando severamente su aplicación práctica en las líneas de producción de ruedas de molienda. Además, los enfoques recientes para abordar el desequilibrio natural de clases en la segmentación de defectos no aprovechan los inagotables datos en bruto no anotados en la línea de producción, lo que representa un enorme desperdicio de datos. Enfocándose en estos dos problemas, en primer lugar, al descubrir la similitud entre la Atención por Coordenadas (CA) y el ASPP, este estudio ha introducido un nuevo módulo ligero CA-ASP al DeeplabV3+, que es un 45.3% más pequeño en tamaño de parámetros y un 53.2% más bajo en FLOPs en comparación con el ASPP, logrando una mejor precisión de segmentación. En segundo lugar, hemos aprovechado de manera innovadora el Autoencoder Enmascarado (MAE) para abordar el desequilibrio. Al desarrollar un nuevo MAE Híbrido y aplicarlo al preentrenamiento auto-supervisado en enormes datos no anotados, hemos mejorado significativamente la comprensión semántica de la red en las clases minoritarias, lo que lleva a un aumento tanto en la precisión general como en la precisión de las minorías sin un crecimiento computacional adicional. Por último, se ha implementado el aprendizaje por transferencia para aprovechar al máximo las tareas duales altamente relacionadas. Los resultados experimentales demuestran que los métodos propuestos, con una latencia en tiempo real de 9.512 ms, obtienen una precisión de segmentación superior en la puntuación mIoU en comparación con los métodos de última generación en tiempo real, destacándose en la gestión del desequilibrio y asegurando estabilidad en escenas complicadas a través de las tareas duales.