Un método de construcción para un gran modelo de lenguaje de mantenimiento de equipos de minería de carbón basado en el aprendizaje de indicaciones multidimensionales y LoRA mejorado
Autores: Cao, Xiangang; Wang, Xulong; Shi, Luyang; Yang, Xin; Zhang, Xinyuan; Duan, Yong
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Un método de construcción para un gran modelo de lenguaje de mantenimiento de equipos de minería de carbón basado en el aprendizaje de indicaciones multidimensionales y LoRA mejorado
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Mantenimiento inteligente
Equipos de minería de carbón
Modelos de lenguaje grandes
Aprendizaje de indicaciones multidimensionales
LoRA
Tareas de mantenimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 23
Citaciones: Sin citaciones
El mantenimiento inteligente del equipo de minería de carbón es crucial para garantizar una producción segura en las minas de carbón. A pesar del rápido desarrollo de grandes modelos de lenguaje (LLMs) que inyectan un nuevo impulso en la transformación inteligente y la actualización de la minería de carbón, su aplicación en el mantenimiento del equipo de minería de carbón todavía enfrenta desafíos debido a la diversidad y complejidad técnica del equipo. Para abordar la escasez de conocimiento de dominio y la poca adaptabilidad del modelo en escenarios multitarea dentro del campo de mantenimiento del equipo de minería de carbón, se propone un método para construir un gran modelo de lenguaje basado en el aprendizaje de indicaciones multidimensionales y LoRA mejorado (MPL-LoRA). Este método aprovecha el aprendizaje de indicaciones multidimensionales para guiar a los LLMs en la generación de conjuntos de datos multitarea de alta calidad para el mantenimiento del equipo de minería de carbón, garantizando la calidad del conjunto de datos al tiempo que mejora la eficiencia de construcción. Además, se introduce un enfoque de ajuste fino basado en la optimización conjunta de una mezcla de expertos (MoE) y adaptación de rango bajo (LoRA), que emplea múltiples redes de expertos y funciones de compuerta impulsadas por tareas para lograr la modelización precisa de diferentes tareas de mantenimiento. Los resultados experimentales demuestran que el conjunto de datos autoconstruido logra fluidez y profesionalismo comparables a los datos anotados manualmente. En comparación con el LLM base, el método propuesto muestra mejoras significativas en el rendimiento en todas las tareas de mantenimiento, ofreciendo una solución novedosa para el mantenimiento inteligente de la minería de carbón.
Descripción
El mantenimiento inteligente del equipo de minería de carbón es crucial para garantizar una producción segura en las minas de carbón. A pesar del rápido desarrollo de grandes modelos de lenguaje (LLMs) que inyectan un nuevo impulso en la transformación inteligente y la actualización de la minería de carbón, su aplicación en el mantenimiento del equipo de minería de carbón todavía enfrenta desafíos debido a la diversidad y complejidad técnica del equipo. Para abordar la escasez de conocimiento de dominio y la poca adaptabilidad del modelo en escenarios multitarea dentro del campo de mantenimiento del equipo de minería de carbón, se propone un método para construir un gran modelo de lenguaje basado en el aprendizaje de indicaciones multidimensionales y LoRA mejorado (MPL-LoRA). Este método aprovecha el aprendizaje de indicaciones multidimensionales para guiar a los LLMs en la generación de conjuntos de datos multitarea de alta calidad para el mantenimiento del equipo de minería de carbón, garantizando la calidad del conjunto de datos al tiempo que mejora la eficiencia de construcción. Además, se introduce un enfoque de ajuste fino basado en la optimización conjunta de una mezcla de expertos (MoE) y adaptación de rango bajo (LoRA), que emplea múltiples redes de expertos y funciones de compuerta impulsadas por tareas para lograr la modelización precisa de diferentes tareas de mantenimiento. Los resultados experimentales demuestran que el conjunto de datos autoconstruido logra fluidez y profesionalismo comparables a los datos anotados manualmente. En comparación con el LLM base, el método propuesto muestra mejoras significativas en el rendimiento en todas las tareas de mantenimiento, ofreciendo una solución novedosa para el mantenimiento inteligente de la minería de carbón.