Recientemente, la demanda de las personas por el reconocimiento de acciones se ha extendido desde la alta precisión en la clasificación inicial hasta la alta precisión en la detección temporal de acciones. Es un desafío cumplir con los dos requisitos simultáneamente. La clave del reconocimiento de comportamientos radica en la cantidad y calidad de las características extraídas. En este artículo, se utiliza una red convolucional de dos flujos. Se utiliza una red neuronal convolucional tridimensional (3D-CNN) para extraer características espacio temporales de los fotogramas consecutivos. Se utiliza una red neuronal convolucional bidimensional (2D-CNN) para extraer características espaciales de los fotogramas clave. La integración de las dos redes es excelente para mejorar la precisión del modelo y puede completar la tarea de distinguir el fotograma de inicio-detención. En este artículo, se presenta un método de extracción de características multi-escala para extraer información de características más abundante. Al mismo tiempo, se introduce un modelo de aprendizaje multitarea. Puede mejorar aún más la precisión de la clasificación mediante el intercambio de datos entre múltiples tareas. El resultado experimental muestra que la precisión del modelo modificado se ha mejorado en un 10%. Mientras tanto, proponemos el gradiente de confianza, que puede optimizar el método de distinción del fotograma de inicio-detención para mejorar la precisión de la detección temporal de acciones. El resultado experimental muestra que la precisión se ha mejorado en un 11%.