Las imágenes de nubes desde el suelo contienen una gran cantidad de información sobre las nubes y son una parte importante de la investigación meteorológica. Sin embargo, en la práctica, las imágenes de nubes desde el suelo deben ser segmentadas y clasificadas para obtener el volumen de nubes, el tipo de nubes y la cobertura de nubes. Los métodos existentes ignoran la relación entre la segmentación y la clasificación de nubes, y generalmente solo se estudia uno de estos aspectos. En consecuencia, nuestro artículo propone un nuevo método para la clasificación y segmentación conjunta de imágenes de nubes, llamado CloudY-Net. En comparación con el marco básico Y-Net, que extrae mapas de características de la capa central, extraemos mapas de características de cuatro capas diferentes para obtener información más útil que mejore la precisión de la clasificación. Estos mapas de características se combinan para producir un vector de características que se utiliza para entrenar el clasificador. Además, se implementa un mecanismo de autoatención de múltiples cabezas durante el proceso de fusión para mejorar aún más la interacción de la información entre las características. Se propone un nuevo módulo llamado Cloud Mixture-of-Experts (C-MoE) para permitir que los pesos de cada capa de características sean aprendidos automáticamente por el modelo, mejorando así la calidad de la representación de características fusionadas. Correspondientemente, se realizan experimentos en el conjunto de datos de nubes desde el suelo multimodal abierto (MGCD). Los resultados demuestran que el modelo propuesto mejora significativamente la precisión de clasificación en comparación con redes clásicas y algoritmos de última generación, con una precisión de clasificación del 88.58%. Además, anotamos 4000 imágenes en el MGCD para la segmentación de nubes y producimos un conjunto de datos de segmentación de nubes llamado MGCD-Seg. Luego, obtenemos un 96.55 mIoU en MGCD-Seg, validando la eficacia de nuestro método en la segmentación y clasificación de imágenes de nubes desde el suelo.