El reconocimiento de acciones humanas ha surgido como un dominio de investigación desafiante para la comprensión y análisis de videos. Subsecuentemente, se ha llevado a cabo una extensa investigación para lograr un rendimiento mejorado en el reconocimiento de acciones humanas. El reconocimiento de actividades humanas tiene diversas aplicaciones en tiempo real, como el monitoreo de pacientes en el que los pacientes son monitoreados entre un grupo de personas normales y luego identificados en base a sus actividades anormales. Nuestro objetivo es realizar una detección de acciones anormales de múltiples clases en individuos y grupos a partir de secuencias de video para diferenciar múltiples acciones humanas anormales. En este trabajo, se utiliza la red You Look Only Once (YOLO) como modelo de CNN base. Para entrenar el modelo de CNN, construimos un gran conjunto de datos de videos de pacientes etiquetando cada fotograma con un conjunto de acciones de pacientes y las posiciones de los pacientes. Retrainamos el modelo de CNN base con 23,040 imágenes etiquetadas de acciones de pacientes durante 32 épocas. A lo largo de cada fotograma, el modelo propuesto asignó una puntuación de confianza única y una etiqueta de acción para secuencias de video al encontrar la etiqueta de acción recurrente. El estudio actual muestra que la precisión del reconocimiento de acciones anormales es del 96.8%. Nuestro enfoque propuesto diferenció acciones anormales con un F1-Score mejorado del 89.2%, que es más alto que las técnicas de vanguardia. Los resultados indican que el marco propuesto puede ser beneficioso para hospitales y hogares de cuidado de ancianos para el monitoreo de pacientes.