Los diagramas del Lenguaje de Modelado Unificado (UML) sirven como herramientas esenciales para visualizar la estructura y el comportamiento del sistema en el diseño de software. Con la aparición de Modelos de Lenguaje Grande (LLMs) que automatizan varias fases del desarrollo de software, hay un creciente interés en aprovechar estos modelos para la generación de diagramas UML. Este estudio presenta una investigación empírica integral sobre la efectividad de GPT-4-turbo en la generación de cuatro tipos fundamentales de diagramas UML: diagramas de Clase, de Despliegue, de Casos de Uso y de Secuencia. Desarrollamos un novedoso marco de ingeniería de prompts basado en reglas que transforma escenarios de dominio en prompts optimizados para el procesamiento de LLM. Los diagramas generados fueron luego sintetizados utilizando PlantUML y evaluados a través de una rigurosa encuesta que involucró a 121 estudiantes de informática e ingeniería de software en tres universidades de EE. UU. Los participantes evaluaron tanto la completitud como la corrección de los diagramas asistidos por LLM y los creados por humanos, examinando elementos específicos dentro de cada tipo de diagrama. Análisis estadísticos, incluidos pruebas t pareadas, pruebas de rango con signo de Wilcoxon y cálculos del tamaño del efecto, validan la significancia de nuestros hallazgos. Los resultados revelan que, si bien los diagramas asistidos por LLM logran niveles significativos de completitud y corrección (que oscilan entre el 61.1% y el 67.7%), consistentemente tienen un rendimiento inferior en comparación con los diagramas creados por humanos. La brecha de rendimiento varía según el tipo de diagrama, siendo los diagramas de Secuencia los que muestran la alineación más cercana a la calidad humana y los diagramas de Casos de Uso los que exhiben la mayor discrepancia. Esta investigación contribuye con un marco validado para evaluar diagramas UML generados por LLM y proporciona conocimientos empíricamente fundamentados sobre las capacidades y limitaciones actuales de los LLM en la educación sobre modelado de software.