Desarrollo de una Escala de Evaluación Integral para Chatbots de Consejería Impulsados por LLM (CES-LCC) Utilizando el Método eDelphi
Autores: Bolpagni, Marco; Gabrielli, Silvia
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Desarrollo de una Escala de Evaluación Integral para Chatbots de Consejería Impulsados por LLM (CES-LCC) Utilizando el Método eDelphi
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Avances
Chatbots de asesoramiento
Escala de evaluación
Integral
Impulsado por LLM
EDelphi
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Antecedentes/Objetivos: Con los avances en Modelos de Lenguaje Grande (LLMs), los chatbots de asesoramiento se están convirtiendo en herramientas esenciales para ofrecer apoyo en salud mental de manera escalable y accesible. Sin embargo, las escalas de evaluación tradicionales no logran capturar adecuadamente las capacidades sofisticadas de estos sistemas, como interacciones personalizadas, respuestas empáticas y retención de memoria. Este estudio tiene como objetivo diseñar una escala de evaluación robusta y completa, la Escala de Evaluación Integral para Chatbots de Asesoramiento Potenciados por LLM (CES-LCC), utilizando el método eDelphi para abordar esta brecha. Métodos: Un panel de 16 expertos en psicología, inteligencia artificial, interacción humano-computadora y terapias digitales participó en dos rondas iterativas de eDelphi. El proceso se centró en refinar dimensiones y elementos basados en retroalimentación cualitativa y cuantitativa. La validación inicial, realizada después de ensamblar la versión final de la escala, involucró a 49 participantes utilizando la CES-LCC para evaluar un chatbot potenciado por LLM que ofrece Self-Help Plus (SH+), una intervención basada en Terapia de Aceptación y Compromiso para la gestión del estrés. Resultados: La versión final de la CES-LCC cuenta con 27 elementos agrupados en nueve dimensiones: Comprensión de Solicitudes, Proporcionar Información Útil, Claridad y Relevancia de Respuestas, Calidad del Lenguaje, Confianza, Apoyo Emocional, Orientación y Dirección, Memoria y Satisfacción General. La validación inicial en el mundo real reveló una alta consistencia interna (alpha de Cronbach = 0.94), aunque se requieren ajustes menores para dimensiones específicas, como Claridad y Relevancia de Respuestas. Conclusiones: La CES-LCC llena una brecha crítica en la evaluación de chatbots de asesoramiento potenciados por LLM, ofreciendo una herramienta estandarizada para evaluar sus capacidades multifacéticas. Si bien los resultados preliminares son prometedores, se necesita más investigación para validar la escala en diversas poblaciones y entornos.
Descripción
Antecedentes/Objetivos: Con los avances en Modelos de Lenguaje Grande (LLMs), los chatbots de asesoramiento se están convirtiendo en herramientas esenciales para ofrecer apoyo en salud mental de manera escalable y accesible. Sin embargo, las escalas de evaluación tradicionales no logran capturar adecuadamente las capacidades sofisticadas de estos sistemas, como interacciones personalizadas, respuestas empáticas y retención de memoria. Este estudio tiene como objetivo diseñar una escala de evaluación robusta y completa, la Escala de Evaluación Integral para Chatbots de Asesoramiento Potenciados por LLM (CES-LCC), utilizando el método eDelphi para abordar esta brecha. Métodos: Un panel de 16 expertos en psicología, inteligencia artificial, interacción humano-computadora y terapias digitales participó en dos rondas iterativas de eDelphi. El proceso se centró en refinar dimensiones y elementos basados en retroalimentación cualitativa y cuantitativa. La validación inicial, realizada después de ensamblar la versión final de la escala, involucró a 49 participantes utilizando la CES-LCC para evaluar un chatbot potenciado por LLM que ofrece Self-Help Plus (SH+), una intervención basada en Terapia de Aceptación y Compromiso para la gestión del estrés. Resultados: La versión final de la CES-LCC cuenta con 27 elementos agrupados en nueve dimensiones: Comprensión de Solicitudes, Proporcionar Información Útil, Claridad y Relevancia de Respuestas, Calidad del Lenguaje, Confianza, Apoyo Emocional, Orientación y Dirección, Memoria y Satisfacción General. La validación inicial en el mundo real reveló una alta consistencia interna (alpha de Cronbach = 0.94), aunque se requieren ajustes menores para dimensiones específicas, como Claridad y Relevancia de Respuestas. Conclusiones: La CES-LCC llena una brecha crítica en la evaluación de chatbots de asesoramiento potenciados por LLM, ofreciendo una herramienta estandarizada para evaluar sus capacidades multifacéticas. Si bien los resultados preliminares son prometedores, se necesita más investigación para validar la escala en diversas poblaciones y entornos.