Evaluación del rendimiento de chatbots de modelos de lenguaje grandes para la educación en terapia de radiación
Autores: Jung, Jae-Hong; Kim, Daegun; Lee, Kyung-Bae; Lee, Youngjin
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Evaluación del rendimiento de chatbots de modelos de lenguaje grandes para la educación en terapia de radiación
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Estudio
Chatbot LLM
Educación en terapia de radiación
PDF
Basado en página web
Preguntas y respuestas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Este estudio tuvo como objetivo desarrollar un chatbot de modelo de lenguaje grande (LLM) para la educación en terapia de radiación y comparar el rendimiento de chatbots de preguntas y respuestas (Q&A) basados en formato de documento portátil (PDF) y en páginas web. Se creó un chatbot LLM utilizando el marco EmbedChain, la API OpenAI GPT-3.5-Turbo y la interfaz Gradio. El rendimiento de ambos chatbots se evaluó en función de 10 preguntas y sus respuestas correspondientes, utilizando los parámetros de precisión, similitud semántica, consistencia y tiempo de respuesta. Las puntuaciones de precisión fueron 0.672 y 0.675 para los chatbots Q&A basados en PDF y en páginas web, respectivamente. La similitud semántica entre los dos chatbots fue de 0.928 (92.8%). La puntuación de consistencia fue uno para ambos chatbots. El tiempo de respuesta promedio fue de 3.3 s y 2.38 s para los chatbots basados en PDF y en páginas web, respectivamente. El chatbot LLM desarrollado en este estudio demuestra el potencial de proporcionar respuestas confiables para la educación en terapia de radiación. Sin embargo, su fiabilidad y eficiencia deben ser optimizadas aún más para ser utilizadas de manera efectiva como herramienta educativa.
Descripción
Este estudio tuvo como objetivo desarrollar un chatbot de modelo de lenguaje grande (LLM) para la educación en terapia de radiación y comparar el rendimiento de chatbots de preguntas y respuestas (Q&A) basados en formato de documento portátil (PDF) y en páginas web. Se creó un chatbot LLM utilizando el marco EmbedChain, la API OpenAI GPT-3.5-Turbo y la interfaz Gradio. El rendimiento de ambos chatbots se evaluó en función de 10 preguntas y sus respuestas correspondientes, utilizando los parámetros de precisión, similitud semántica, consistencia y tiempo de respuesta. Las puntuaciones de precisión fueron 0.672 y 0.675 para los chatbots Q&A basados en PDF y en páginas web, respectivamente. La similitud semántica entre los dos chatbots fue de 0.928 (92.8%). La puntuación de consistencia fue uno para ambos chatbots. El tiempo de respuesta promedio fue de 3.3 s y 2.38 s para los chatbots basados en PDF y en páginas web, respectivamente. El chatbot LLM desarrollado en este estudio demuestra el potencial de proporcionar respuestas confiables para la educación en terapia de radiación. Sin embargo, su fiabilidad y eficiencia deben ser optimizadas aún más para ser utilizadas de manera efectiva como herramienta educativa.