logo móvil
Contáctanos

Desarrollo de una Escala de Evaluación Integral para Chatbots de Consejería Impulsados por LLM (CES-LCC) Utilizando el Método eDelphi

Autores: Bolpagni, Marco; Gabrielli, Silvia

Idioma: Inglés

Editor: MDPI

Año: 2025

Descargar PDF

Acceso abierto

Artículo científico
2025

Desarrollo de una Escala de Evaluación Integral para Chatbots de Consejería Impulsados por LLM (CES-LCC) Utilizando el Método eDelphi


Categoría

Gestión y administración

Subcategoría

Gestión de la tecnología y la inovación

Palabras clave

Avances
Chatbots de asesoramiento
Escala de evaluación
Integral
Impulsado por LLM
EDelphi

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 1

Citaciones: Sin citaciones


Descripción
Antecedentes/Objetivos: Con los avances en Modelos de Lenguaje Grande (LLMs), los chatbots de asesoramiento se están convirtiendo en herramientas esenciales para ofrecer apoyo en salud mental de manera escalable y accesible. Sin embargo, las escalas de evaluación tradicionales no logran capturar adecuadamente las capacidades sofisticadas de estos sistemas, como interacciones personalizadas, respuestas empáticas y retención de memoria. Este estudio tiene como objetivo diseñar una escala de evaluación robusta y completa, la Escala de Evaluación Integral para Chatbots de Asesoramiento Potenciados por LLM (CES-LCC), utilizando el método eDelphi para abordar esta brecha. Métodos: Un panel de 16 expertos en psicología, inteligencia artificial, interacción humano-computadora y terapias digitales participó en dos rondas iterativas de eDelphi. El proceso se centró en refinar dimensiones y elementos basados en retroalimentación cualitativa y cuantitativa. La validación inicial, realizada después de ensamblar la versión final de la escala, involucró a 49 participantes utilizando la CES-LCC para evaluar un chatbot potenciado por LLM que ofrece Self-Help Plus (SH+), una intervención basada en Terapia de Aceptación y Compromiso para la gestión del estrés. Resultados: La versión final de la CES-LCC cuenta con 27 elementos agrupados en nueve dimensiones: Comprensión de Solicitudes, Proporcionar Información Útil, Claridad y Relevancia de Respuestas, Calidad del Lenguaje, Confianza, Apoyo Emocional, Orientación y Dirección, Memoria y Satisfacción General. La validación inicial en el mundo real reveló una alta consistencia interna (alpha de Cronbach = 0.94), aunque se requieren ajustes menores para dimensiones específicas, como Claridad y Relevancia de Respuestas. Conclusiones: La CES-LCC llena una brecha crítica en la evaluación de chatbots de asesoramiento potenciados por LLM, ofreciendo una herramienta estandarizada para evaluar sus capacidades multifacéticas. Si bien los resultados preliminares son prometedores, se necesita más investigación para validar la escala en diversas poblaciones y entornos.

Otros recursos que podrían interesarte

Temas Virtualpro