¿Alguna vez te desvías en una conversación? La anatomía del sistema conversacional y las métricas de evaluación
Autores: Yadav, Sargam; Kaushik, Abhishek
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
¿Alguna vez te desvías en una conversación? La anatomía del sistema conversacional y las métricas de evaluación
Categoría
Gestión y administración
Subcategoría
Gestión del conocimiento
Palabras clave
Sistemas conversacionales
Evaluación
Sistemas de diálogo
Evaluación humana
Métodos de evaluación
Modelo de evaluación automatizada
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
Los sistemas conversacionales son ahora aplicables a casi todos los ámbitos empresariales. La evaluación es un paso importante en la creación de sistemas de diálogo para que puedan ser fácilmente probados y prototipados. No existe una métrica universalmente aceptada para evaluar todos los sistemas de diálogo. La evaluación humana, que no está computarizada, es ahora el enfoque de evaluación más efectivo y completo. La recopilación y el análisis de datos son actividades de evaluación que requieren intervención humana. En este trabajo, abordamos los muchos tipos de sistemas de diálogo y los métodos de evaluación que pueden utilizarse con ellos. También se exploran los beneficios y desventajas de cada tipo de enfoque de evaluación, lo que podría ayudarnos a comprender mejor las expectativas asociadas con el desarrollo de un sistema de evaluación automatizado. El objetivo de este estudio es investigar los agentes conversacionales, sus enfoques de diseño y métricas de evaluación. Este enfoque puede ayudarnos a comprender mejor el proceso general de desarrollo de sistemas de diálogo y las futuras posibilidades para mejorar la experiencia del usuario. Dado que la evaluación humana es costosa y consume tiempo, enfatizamos la necesidad de contar con un modelo de evaluación automatizado y generalmente reconocido para sistemas conversacionales, que podría reducir significativamente el tiempo requerido para el análisis.
Descripción
Los sistemas conversacionales son ahora aplicables a casi todos los ámbitos empresariales. La evaluación es un paso importante en la creación de sistemas de diálogo para que puedan ser fácilmente probados y prototipados. No existe una métrica universalmente aceptada para evaluar todos los sistemas de diálogo. La evaluación humana, que no está computarizada, es ahora el enfoque de evaluación más efectivo y completo. La recopilación y el análisis de datos son actividades de evaluación que requieren intervención humana. En este trabajo, abordamos los muchos tipos de sistemas de diálogo y los métodos de evaluación que pueden utilizarse con ellos. También se exploran los beneficios y desventajas de cada tipo de enfoque de evaluación, lo que podría ayudarnos a comprender mejor las expectativas asociadas con el desarrollo de un sistema de evaluación automatizado. El objetivo de este estudio es investigar los agentes conversacionales, sus enfoques de diseño y métricas de evaluación. Este enfoque puede ayudarnos a comprender mejor el proceso general de desarrollo de sistemas de diálogo y las futuras posibilidades para mejorar la experiencia del usuario. Dado que la evaluación humana es costosa y consume tiempo, enfatizamos la necesidad de contar con un modelo de evaluación automatizado y generalmente reconocido para sistemas conversacionales, que podría reducir significativamente el tiempo requerido para el análisis.