Los Modelos de Lenguaje Grandes (LLMs) destacan en campos como la comprensión del lenguaje natural, generación, razonamiento complejo y biomedicina. Con los avances en ciencia de materiales, los métodos tradicionales de anotación manual para diagramas de fases se han vuelto inadecuados debido a su naturaleza que consume mucho tiempo y limitaciones en la actualización de bases de datos termodinámicas. Para superar estos desafíos, proponemos un marco basado en ajuste de instrucciones, utilizando LLMs para la anotación automatizada de extremo a extremo de diagramas de fases. Se recopilan imágenes de diagramas de fases de alta calidad y descripciones de expertos de manuales y luego se procesan previamente para corregir errores, eliminar redundancias y mejorar la información. Estos datos preprocesados forman un conjunto de datos dorado, del cual se utiliza un subconjunto para entrenar LLMs a través de muestreo jerárquico. El LLM afinado luego se prueba para la anotación automatizada de diagramas de fases. Los resultados muestran que el modelo afinado logra una similitud de coseno de 0.8737, mejorando la precisión de la comprensión de diagramas de fases en un 7% en comparación con LLMs no ajustados. Hasta donde sabemos, este es el primer documento que propone el uso de LLMs para la anotación automatizada de diagramas de fases, reemplazando los métodos tradicionales de anotación manual y mejorando significativamente la eficiencia y precisión.