Este trabajo revisa los avances impulsados por conjuntos de datos que han ocurrido en el área del análisis del movimiento de los labios, especialmente en la lectura visual de labios y la autenticación visual del movimiento de los labios, en la era del aprendizaje profundo. Ofrecemos un análisis de conjuntos de datos y su uso, creación y desafíos asociados. La investigación futura puede utilizar este trabajo como guía para seleccionar conjuntos de datos apropiados y como fuente de ideas para crear conjuntos de datos nuevos e innovadores. Conjuntos de datos grandes y variados son vitales para un sistema exitoso de aprendizaje profundo. Se han logrado muchos avances increíbles en estos campos debido a conjuntos de datos más grandes. Hay indicios de que conjuntos de datos aún más grandes y variados resultarían en una mayor mejora en los sistemas existentes. Destacamos los conjuntos de datos que han impulsado la progresión en los sistemas de lectura de labios desde la lectura de labios a nivel de dígitos, y luego de palabras a nivel de oraciones. A través de un análisis profundo de los resultados de los sistemas de lectura de labios, mostramos que los conjuntos de datos con grandes cantidades de diversidad aumentan enormemente los resultados. Luego discutimos el siguiente paso para que los sistemas de lectura de labios pasen de la lectura de labios a nivel de oraciones a la lectura de labios a nivel de diálogo y enfatizamos que se requieren nuevos conjuntos de datos para que esta transición sea posible. Luego exploramos conjuntos de datos de autenticación del movimiento de los labios. Aunque la autenticación del movimiento de los labios ha sido ampliamente investigada, no está muy unificada en una implementación particular, y no hay un conjunto de datos de referencia para comparar los diversos métodos. Como se vio en el análisis de la lectura de labios, se requieren conjuntos de datos grandes y diversos para evaluar la robustez y precisión de los nuevos métodos intentados por los investigadores. Estos conjuntos de datos grandes han impulsado el trabajo en el ámbito de la lectura visual de labios. Debido a la falta de conjuntos de datos grandes, diversos y públicamente accesibles, la investigación en autenticación del movimiento de los labios ha tenido dificultades para validar resultados y aplicaciones del mundo real. Se requiere un nuevo conjunto de datos de referencia para unificar los estudios en esta área de manera que puedan compararse con métodos anteriores y validar nuevos métodos de manera más efectiva.