La inteligencia artificial está teniendo un fuerte impacto en los servicios de salud, mejorando su calidad y eficiencia. Este trabajo propone y evalúa un sistema de predicción de readmisiones hospitalarias para pacientes con diabetes. Este sistema se basa en un Transformador, una arquitectura de aprendizaje profundo de última generación que integra diferentes tipos de información y características en el mismo modelo. Esta arquitectura integra varias cabezas de atención para modelar la contribución de cada característica a la predicción global. El objetivo principal de este trabajo es proporcionar una herramienta de apoyo a la toma de decisiones para ayudar a gestionar eficazmente los recursos hospitalarios. Este sistema fue desarrollado y evaluado utilizando la Base de Datos de Hechos de Salud de los Estados Unidos, que incluye información y características de 101,766 pacientes con diabetes entre 1999 y 2008. Los experimentos se realizaron utilizando una estrategia de validación cruzada por paciente, asegurando que los pacientes utilizados para desarrollar el sistema no se usaron en la prueba final. Estos experimentos demostraron la fuerte capacidad del Transformador para combinar diferentes características, proporcionando resultados ligeramente mejores en comparación con los resultados previamente reportados en este conjunto de datos. Estos experimentos nos permiten informar sobre la precisión de la predicción para varios números de clases. Finalmente, este trabajo proporciona un análisis detallado de la relevancia de cada característica al predecir las readmisiones hospitalarias.