El artículo propone un método efectivo de reconocimiento continuo de gestos, que incluye dos módulos: segmentación y reconocimiento. En el módulo de segmentación, los fotogramas de video se dividen en fotogramas de gestos y fotogramas de transición utilizando la información del movimiento y la apariencia de la mano, y las secuencias continuas de gestos se segmentan en secuencias aisladas. En el módulo de reconocimiento, nuestro método explota la información espacio-temporal incrustada en secuencias RGB y de profundidad. Para la modalidad RGB, nuestro método adopta redes neuronales convolucionales de memoria a largo plazo para aprender características espacio-temporales a largo plazo a partir de características espacio-temporales a corto plazo obtenidas de una red neuronal convolucional 3D. Para la modalidad de profundidad, nuestro método convierte una secuencia en Imágenes Dinámicas e Imágenes Dinámicas de Movimiento a través de pooling de rango ponderado y las alimenta en Redes Neuronales Convolucionales, respectivamente. Nuestro método ha sido evaluado en el Conjunto de Datos de Gestos Continuos a Gran Escala ChaLearn LAP y en el Conjunto de Datos de Gestos Montalbano, logrando un rendimiento de vanguardia.