La evaluación y el análisis de interfaces conversacionales es una tarea compleja, ya que estos productos de software son difíciles de validar a través de enfoques de prueba tradicionales. Realizamos una Revisión Sistemática de Literatura Multivocal (MLR) en cinco fuentes de literatura diferentes para proporcionar una visión sobre los atributos de calidad, los marcos de evaluación y los conjuntos de datos de evaluación propuestos para ayudar a los investigadores y profesionales del campo. Llegamos a un conjunto final de 118 contribuciones, incluyendo literatura gris (35) y literatura blanca (83). Categorizaron 123 atributos y métricas de calidad diferentes en diez categorías diferentes y cuatro macro-categorías: Atributos Relacionales, Conversacionales, Centrado en el Usuario y Atributos Cuantitativos. Mientras que los atributos Relacionales y Conversacionales son los más comúnmente explorados por la literatura científica, testificamos una predominancia de Atributos Centrado en el Usuario en la literatura industrial. También identificamos cinco marcos/herramientas académicas diferentes para calcular automáticamente conjuntos de métricas, y 28 conjuntos de datos (subdivididos en siete categorías diferentes según el tipo de datos contenidos) que pueden producir conversaciones para la evaluación de interfaces conversacionales. Nuestro análisis de la literatura destaca que un alto número de atributos cualitativos y cuantitativos están disponibles en la literatura para evaluar el rendimiento de las interfaces conversacionales. Nuestra categorización puede servir como un punto de entrada válido para que investigadores y profesionales seleccionen los aspectos funcionales y no funcionales adecuados que deben evaluarse para sus productos.