Los resúmenes científicos estructurados o las contribuciones de investigación que utilizan propiedades o dimensiones más allá de las palabras clave tradicionales mejoran la encontrabilidad de la ciencia. Los métodos actuales, como los utilizados por el Open Research Knowledge Graph (ORKG), implican la curaduría manual de propiedades para describir las contribuciones de los artículos de investigación de manera estructurada, pero esto es laborioso e inconsistente entre los curadores expertos en la materia. Proponemos utilizar Modelos de Lenguaje Grande (LLMs) para sugerir automáticamente estas propiedades. Sin embargo, es esencial evaluar la preparación de LLMs como GPT-3.5, Llama 2 y Mistral para esta tarea antes de su aplicación. Nuestro estudio realiza un análisis comparativo exhaustivo entre las propiedades curadas manualmente por el ORKG y las generadas por los LLMs de última generación mencionados. Evaluamos el rendimiento de los LLM desde cuatro perspectivas únicas: alineación semántica con y desviación de las propiedades del ORKG, precisión en el mapeo de propiedades detalladas, similitud coseno basada en incrustaciones de SciNCL y encuestas de expertos que comparan anotaciones manuales con salidas de LLM. Estas evaluaciones se llevan a cabo en un entorno científico multidisciplinario. En general, los LLM muestran potencial como sistemas de recomendación para estructurar la ciencia, pero se recomienda un ajuste adicional para mejorar su alineación con tareas científicas y la imitación de la experiencia humana.