El reconocimiento del comportamiento del ganado es esencial para monitorear su salud y bienestar. Las técnicas existentes para el reconocimiento del comportamiento en establos cerrados suelen depender de la observación directa para detectar cambios utilizando dispositivos portátiles o cámaras de vigilancia. Aunque se han logrado avances prometedores en este campo, monitorear ganado individual, especialmente aquellos con características visuales similares, sigue siendo un desafío debido a numerosos factores como la oclusión, las variaciones de escala y los cambios de postura. Por lo tanto, la identificación precisa y consistente de individuos a lo largo del tiempo es esencial para superar estos desafíos. Para abordar este problema, este documento presenta un enfoque para el monitoreo multivista del comportamiento individual del ganado basado en el reconocimiento de acciones utilizando datos de video. El sistema propuesto toma una secuencia de imágenes como entrada y utiliza un detector para identificar acciones jerárquicas categorizadas como acciones parciales e individuales. Estas regiones de interés se introducen en un mecanismo de seguimiento e identificación, lo que permite al sistema rastrear continuamente a cada individuo en la escena y asignarles un número de identificación único. Al implementar este enfoque, el comportamiento del ganado se monitorea continuamente y se realiza un análisis estadístico para evaluar los cambios en el comportamiento en el dominio del tiempo. La efectividad del marco propuesto se demuestra a través de resultados experimentales cuantitativos y cualitativos obtenidos de nuestra base de datos de video de ganado Hanwoo. En general, este estudio aborda los desafíos encontrados en escenarios reales de granjas interiores, capturando información espaciotemporal y permitiendo el reconocimiento automático del comportamiento del ganado para la agricultura de precisión.