El Aprendizaje Profundo por Refuerzo es una tecnología clave para el sistema de diálogo médico orientado al diagnóstico, determinando el tipo de enfermedad según las expresiones del paciente. Los modelos de diálogo existentes para el diagnóstico de enfermedades no pueden lograr un buen rendimiento debido al gran número de síntomas y enfermedades. En este documento, proponemos un modelo jerárquico de aprendizaje por refuerzo mejorado con conocimiento para el aprendizaje de estrategias en el sistema de diálogo médico para el diagnóstico de enfermedades. Nuestra estrategia jerárquica alivia el problema de un gran espacio de acciones en el aprendizaje por refuerzo. Además, el módulo de mejora de conocimiento integra una matriz de relación de enfermedad-síntoma aprendible y un grafo de conocimiento médico en la estrategia jerárquica para una mayor tasa de éxito en el diagnóstico. Nuestro modelo propuesto ha demostrado ser efectivo en un conjunto de datos de diálogo médico para el diagnóstico automático de enfermedades.