El aprendizaje federado es un algoritmo de aprendizaje automático distribuido que permite el entrenamiento colaborativo entre múltiples clientes sin compartir información sensible. A diferencia del aprendizaje centralizado, enfatiza los beneficios distintivos de proteger la privacidad de los datos. Sin embargo, dos problemas desafiantes, la heterogeneidad y los ataques de puerta trasera, plantean desafíos severos para la estandarización de los algoritmos de aprendizaje federado. La heterogeneidad de los datos afecta la precisión del modelo, la heterogeneidad del objetivo fragmenta la aplicabilidad del modelo y la heterogeneidad del modelo compromete la individualidad del modelo. Los ataques de puerta trasera inyectan patrones de desencadenantes en los datos para engañar al modelo durante el entrenamiento, socavando así el rendimiento del aprendizaje federado. En este trabajo, proponemos un paradigma avanzado de aprendizaje federado llamado Aprendizaje de Destilación Mutua Federada (FMDL). FMDL permite a los clientes entrenar colaborativamente un modelo global mientras entrenan independientemente sus modelos privados, sujetos a los requisitos del servidor. Se realiza una transferencia continua de conocimientos bidireccional entre los modelos locales y los modelos privados para lograr la personalización del modelo. FMDL utiliza la técnica de destilación de atención, realizando destilación mutua durante la fase de actualización local y ajustando los subconjuntos de datos limpios para borrar efectivamente los desencadenantes de puerta trasera. Nuestros experimentos demuestran que FMDL beneficia a los clientes de diferentes datos, tareas y modelos, defiende eficazmente contra seis tipos de ataques de puerta trasera, y valida la efectividad y eficiencia de nuestro enfoque propuesto.