El método tradicional de monitoreo de pozos petroleros se basa en la adquisición manual y varios sensores de alta precisión. El uso del diagrama de indicadores para juzgar la condición de trabajo del pozo no solo es difícil de establecer, sino que también consume una gran cantidad de mano de obra y recursos financieros. Este artículo propone el uso de visión por computadora en la detección de condiciones de trabajo en la extracción de petróleo. Combinado con las ventajas de un vehículo aéreo no tripulado (UAV), se utilizan imágenes de fotografía aérea de UAV para realizar la detección en tiempo real de las condiciones de trabajo en el sitio mediante el seguimiento en tiempo real del estado de trabajo de la cabeza de trabajo y otras partes relacionadas de la unidad de bombeo. Considerando el rendimiento en tiempo real de la detección de condiciones de trabajo, este artículo propone un marco que combina "You only look once" versión 3 (YOLOv3) y un algoritmo de clasificación para completar el seguimiento de múltiples objetivos en forma de seguimiento por detección. La calidad de la detección de objetivos en el marco es el factor clave que afecta el efecto de seguimiento. Los resultados experimentales muestran que un buen detector hace que la velocidad de seguimiento logre el efecto en tiempo real y proporciona ayuda para la detección en tiempo real de la condición de trabajo, lo que tiene una fuerte aplicación práctica.