El aprendizaje federado ha estado atrayendo cada vez más atención por sus posibles aplicaciones en el diagnóstico de enfermedades en el campo médico debido a la preservación de la privacidad y su capacidad para resolver problemas de silos de datos. Sin embargo, las distribuciones inconsistentes de datos en el lado del cliente degradan significativamente el rendimiento del aprendizaje federado tradicional. Para eliminar los efectos adversos de los problemas no IID en el rendimiento del aprendizaje federado en múltiples conjuntos de datos de instituciones médicas, este documento propone un método de aprendizaje federado cíclico basado en el intercambio de información de distribución y destilación de conocimiento para datos médicos (CFL_DS_KD). El método se divide en dos fases principales. La primera etapa es un proceso de preparación fuera de línea en el que todos los clientes entrenan un modelo generador en conjuntos de datos locales y pasan el generador a clientes vecinos para generar datos compartidos virtuales. La segunda etapa es un proceso en línea que también se puede dividir principalmente en dos pasos. El primer paso es un proceso de aprendizaje de destilación de conocimiento en el que todos los clientes inicializan primero el modelo de tarea en los conjuntos de datos locales y lo comparten con clientes vecinos. Luego, los clientes utilizan el modelo de tarea compartido para guiar la actualización de sus modelos de tarea locales en los datos compartidos virtuales. El segundo paso simplemente vuelve a actualizar el modelo de tarea en los conjuntos de datos locales y lo comparte con clientes vecinos. Nuestros experimentos en conjuntos de datos no IID demostraron el rendimiento superior de nuestro método propuesto en comparación con los algoritmos de aprendizaje federado existentes.