En el Aprendizaje Federado (FL), se niega la comunicación de datos entre clientes. Sin embargo, es difícil aprender de los datos de clientes descentralizados, que están submuestreados, especialmente para tareas de segmentación que requieren extraer suficiente información semántica contextual. Los estudios de FL existentes siempre promedian los modelos de clientes en un modelo global en tareas de segmentación, mientras descuidan el conocimiento diverso extraído por los modelos. Para mantener y utilizar el conocimiento diverso, proponemos un nuevo paradigma de entrenamiento llamado Aprendizaje Federado con Z-promedio y Enseñanza Cruzada (FedZaCt) para abordar tareas de segmentación. Desde el aspecto de los parámetros del modelo, el método Z-promedio construye modelos de clientes individuales, que mantienen conocimiento diverso de múltiples datos de clientes. Desde el aspecto de la destilación del modelo, el método de Enseñanza Cruzada transfiere el conocimiento de los otros modelos de clientes para supervisar el modelo de cliente local. En particular, FedZaCt no tiene el modelo global durante el proceso de entrenamiento. Después del entrenamiento, todos los modelos de clientes se agregan al modelo global promediando todos los parámetros del modelo de cliente. Los métodos propuestos se aplican a dos conjuntos de datos de segmentación de imágenes médicas, incluido nuestro conjunto de datos aórticos privados y un conjunto de datos HAM10000 público. Los resultados experimentales demuestran que nuestros métodos pueden lograr valores de Intersección sobre Unión y puntajes de Dado más altos.