Gestionar el riesgo de lesiones o enfermedades es una consideración importante al cuidar mascotas. Este riesgo se puede minimizar si se monitorean a las mascotas de manera regular, pero esto puede ser difícil y llevar mucho tiempo. Sin embargo, dado que solo se puede observar el comportamiento externo del animal y no se puede evaluar su condición interna, el estado del animal puede ser fácilmente malinterpretado. Además, aunque algunos sistemas utilizan la medición del ritmo cardíaco para determinar un estado de tensión, o utilizan el descanso para evaluar el estado interno, dado que un aumento en la frecuencia cardíaca también puede ocurrir como resultado del ejercicio, es deseable utilizar esta medición en combinación con información conductual. En el estudio actual, propusimos un sistema de monitoreo para animales utilizando análisis de imágenes de video. El sistema propuesto primero extrae características relacionadas con la información conductual y el estado interno del animal a través de mask R-CNN utilizando imágenes de video tomadas desde la parte superior de la jaula. Estas características se utilizan para detectar actividades diarias típicas y actividades anómalas. Este método produce una alerta cuando el hámster se comporta de manera inusual. En nuestro experimento, se midió y analizó el comportamiento diario de un hámster utilizando el sistema propuesto. Los resultados mostraron que las características del comportamiento del hámster fueron detectadas con éxito. Cuando se presentaron sonidos fuertes desde fuera de la jaula, el sistema pudo discriminar entre los cambios conductuales e internos del hámster. En futuras investigaciones, planeamos mejorar la precisión de la medición de pequeños movimientos y desarrollar un sistema más preciso.