La generación de diálogos en chino enfrenta múltiples desafíos, como la comprensión semántica, la coincidencia de información y la fluidez de las respuestas. Los sistemas de diálogo generativos para la conversación en chino son algo difíciles de construir debido al orden flexible de las palabras, el gran impacto del reemplazo de palabras en la semántica y el complejo contexto implícito. Los métodos existentes aún tienen limitaciones para abordar estos problemas. Para enfrentar estos desafíos, este artículo propone un modelo mejorado de generación de diálogos en chino basado en la arquitectura transformer. El modelo utiliza un decodificador transformer de múltiples capas como columna vertebral e introduce dos técnicas clave, a saber, la incorporación de incrustaciones de palabras de modelos de lenguaje preentrenados y la optimización de la función de pérdida Softmax dispersa. Para la fusión de incrustaciones de palabras, concatenamos los vectores de palabras del modelo preentrenado con incrustaciones basadas en caracteres para mejorar la información semántica de las representaciones de palabras. La optimización de Softmax disperso mitiga efectivamente el problema del sobreajuste al introducir un término de regularización de escasez. Los resultados experimentales en el conjunto de datos de conversación de texto corto en chino (STC) demuestran que nuestro modelo propuesto supera significativamente a los modelos base en métricas de evaluación automática, como BLEU y Distinct, con una mejora promedio de 3.5 puntos porcentuales. Las evaluaciones humanas también validan la superioridad de nuestro modelo en la generación de respuestas fluidas y relevantes. Este trabajo proporciona nuevas ideas y soluciones para construir sistemas de diálogo en chino más inteligentes y similares a los humanos.