El Internet de las cosas (IoT) y las tecnologías de computación en el borde han estado desarrollándose rápidamente en los últimos años, lo que ha llevado a la aparición de nuevos desafíos en privacidad y seguridad. La privacidad personal y la fuga de datos se han convertido en preocupaciones importantes en entornos de computación en el borde de IoT. El aprendizaje federado se ha propuesto como una solución para abordar estos problemas de privacidad, pero la heterogeneidad de dispositivos en entornos de computación en el borde de IoT plantea un desafío significativo para la implementación del aprendizaje federado. Para superar este desafío, este artículo propone una estrategia de selección de nodos novedosa basada en el aprendizaje profundo por refuerzo para optimizar el aprendizaje federado en entornos de dispositivos IoT heterogéneos. Además, se propone un modelo métrico para evaluar el rendimiento de diferentes dispositivos IoT. Los resultados experimentales demuestran que el método propuesto puede mejorar la precisión del entrenamiento en un 30% en un entorno de dispositivos IoT heterogéneos.