Mejorando los Sistemas de Diálogo Orientados a Tareas a través de la Interacción Sincrónica Multi-Partidaria y la Simulación Virtual Multi-Grupal
Autores: Paek, Ellie S.; Fan, Talyn; Finch, James D.; Choi, Jinho D.
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Mejorando los Sistemas de Diálogo Orientados a Tareas a través de la Interacción Sincrónica Multi-Partidaria y la Simulación Virtual Multi-Grupal
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Enfoques innovadores
Sistema de diálogo sincrónico entre múltiples partes
Simulaciones de múltiples grupos
Grupos de usuarios virtuales
Modelo de lenguaje grande
Finalización de tareas
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Este documento presenta dos enfoques innovadores: un sistema de diálogo multiparte sincrónico que se involucra en interacciones simultáneas con múltiples usuarios, y simulaciones de múltiples grupos que involucran grupos de usuarios virtuales para evaluar la resiliencia de este sistema. A diferencia de la mayoría de los otros chatbots que se comunican con cada usuario de manera independiente, nuestro sistema facilita la recopilación de información de múltiples usuarios y ejecuta 17 tareas administrativas para solicitudes grupales de manera hábil al aprovechar un marco basado en máquinas de estados para tener un control completo sobre el flujo del diálogo y un modelo de lenguaje grande (LLM) para una comprensión robusta del contexto. Evaluar un sistema de diálogo tan único presenta desafíos, ya que requiere que muchos grupos de usuarios interactúen con el sistema de manera concurrente durante un período prolongado. Para abordar esto, simulamos varios grupos virtuales utilizando un LLM, cada uno compuesto por 10-30 usuarios que pueden pertenecer a múltiples grupos, con el fin de evaluar la eficacia de nuestro sistema; a cada usuario se le asigna una persona y se le permite interactuar libremente sin guiones. Como resultado, nuestro sistema muestra tasas de éxito promedio del 87% para la finalización de tareas y del 89% para la comprensión del lenguaje natural. Comparativamente, nuestra simulación virtual, que tiene una tasa de éxito promedio del 80%, se compara con un grupo de 15 usuarios humanos, mostrando una diversidad de tareas y tendencias de errores similares. Hasta donde sabemos, es el primer trabajo que muestra el potencial del LLM tanto en la ejecución de tareas como en la simulación de un sistema de diálogo sincrónico para automatizar completamente las tareas administrativas.
Descripción
Este documento presenta dos enfoques innovadores: un sistema de diálogo multiparte sincrónico que se involucra en interacciones simultáneas con múltiples usuarios, y simulaciones de múltiples grupos que involucran grupos de usuarios virtuales para evaluar la resiliencia de este sistema. A diferencia de la mayoría de los otros chatbots que se comunican con cada usuario de manera independiente, nuestro sistema facilita la recopilación de información de múltiples usuarios y ejecuta 17 tareas administrativas para solicitudes grupales de manera hábil al aprovechar un marco basado en máquinas de estados para tener un control completo sobre el flujo del diálogo y un modelo de lenguaje grande (LLM) para una comprensión robusta del contexto. Evaluar un sistema de diálogo tan único presenta desafíos, ya que requiere que muchos grupos de usuarios interactúen con el sistema de manera concurrente durante un período prolongado. Para abordar esto, simulamos varios grupos virtuales utilizando un LLM, cada uno compuesto por 10-30 usuarios que pueden pertenecer a múltiples grupos, con el fin de evaluar la eficacia de nuestro sistema; a cada usuario se le asigna una persona y se le permite interactuar libremente sin guiones. Como resultado, nuestro sistema muestra tasas de éxito promedio del 87% para la finalización de tareas y del 89% para la comprensión del lenguaje natural. Comparativamente, nuestra simulación virtual, que tiene una tasa de éxito promedio del 80%, se compara con un grupo de 15 usuarios humanos, mostrando una diversidad de tareas y tendencias de errores similares. Hasta donde sabemos, es el primer trabajo que muestra el potencial del LLM tanto en la ejecución de tareas como en la simulación de un sistema de diálogo sincrónico para automatizar completamente las tareas administrativas.