Hay una necesidad urgente de agentes conversacionales en el ámbito de la salud con experiencia específica en el dominio para garantizar la provisión de información precisa y confiable adaptada a contextos médicos específicos. Además, existe una notable brecha en la investigación que asegura la credibilidad y confiabilidad de la información proporcionada por estos agentes de salud, particularmente en escenarios críticos como emergencias médicas. Los peregrinos provienen de diversos antecedentes culturales y lingüísticos, enfrentando a menudo dificultades para acceder a consejos e información médica. Establecer un chatbot multilingüe impulsado por IA puede cerrar esta brecha al proporcionar orientación y apoyo médico fácilmente disponibles, contribuyendo al bienestar y la seguridad de los peregrinos. En este documento, presentamos una metodología integral destinada a mejorar la confiabilidad y eficacia de los agentes conversacionales en el ámbito de la salud, con un enfoque específico en abordar las necesidades de los peregrinos del Hajj. Nuestro enfoque aprovecha técnicas de ajuste fino específicas del dominio en un modelo de lenguaje grande, junto con estrategias de aumento de datos sintéticos, para optimizar el rendimiento en la entrega de información de salud contextualizada mediante la introducción del conjunto de datos HajjHealthQA. Además, empleamos un módulo de generación aumentada por recuperación (RAG) como un componente crucial para validar respuestas generadas inciertas, lo que mejora el rendimiento del modelo en un 5%. Además, entrenamos un agente de IA secundario en un conjunto de datos de verificación de hechos de salud bien conocido y lo utilizamos para validar la información médica en las respuestas generadas. Nuestro enfoque eleva significativamente la precisión del chatbot, demostrando su adaptabilidad a una amplia gama de consultas de peregrinos. Evaluamos el rendimiento del chatbot utilizando métricas cuantitativas y cualitativas, destacando su competencia en generar respuestas precisas y logrando resultados competitivos en comparación con modelos de última generación, además de mitigar el riesgo de desinformación y proporcionar a los usuarios información de salud confiable.