La detección y reconocimiento automático de gestos clave son tareas difíciles en la Interacción Humano-Computadora debido a la necesidad de identificar los puntos de inicio y fin del gesto de interés. Al integrar Modelos Ocultos de Markov (HMM) y Redes Neuronales Profundas (DNN), la presente investigación proporciona una técnica autónoma que realiza la detección y predicción de gestos manuales simultáneamente sin retraso. Un HMM puede ser utilizado para extraer características, identificar el significado de los gestos utilizando un mecanismo de detección hacia adelante con tamaños de ventana deslizante variables, y luego emplear Redes Neuronales Profundas para llevar a cabo el proceso de reconocimiento. Por lo tanto, se sugiere una estrategia estocástica para crear un modelo sin gestos utilizando HMMs sin datos de entrenamiento para identificar con precisión gestos numéricos significativos (0-9). El modelo sin gestos proporciona una medida de confianza, que se utiliza como un umbral adaptativo para determinar dónde comienzan y terminan los gestos significativos en la transmisión de video de entrada. Además, las DNN son extremadamente eficientes y funcionan excepcionalmente bien en la detección de objetos en tiempo real. Según los resultados experimentales, el método propuesto puede detectar y predecir con éxito movimientos significativos con una fiabilidad del 94.70%.