Las cámaras de panorámica, inclinación y zoom se utilizan comúnmente para aplicaciones de vigilancia. Su automatización podría reducir la carga de trabajo de los operadores humanos y aumentar la seguridad de los aeropuertos al rastrear objetos anómalos como drones. El aprendizaje por refuerzo es un método de inteligencia artificial que supera a los humanos en ciertas tareas específicas. Sin embargo, existe una falta de datos y referencias para los mecanismos de control de panorámica, inclinación y zoom en el seguimiento de objetos en el aire. Aquí, mostramos un entorno simulado que contiene una cámara de panorámica, inclinación y zoom que se utiliza para entrenar y evaluar a un agente de aprendizaje por refuerzo. Encontramos que el agente puede aprender a rastrear el dron en nuestro escenario básico de seguimiento, superando un valor de referencia de un escenario resuelto. El agente también se prueba en escenarios más complejos, donde el dron está oculto detrás de obstáculos. Si bien el agente no supera cuantitativamente al modelo humano óptimo, muestra signos cualitativos de aprendizaje para resolver el escenario complejo de trayectoria no lineal y ocluida. Con más entrenamiento, investigación y diferentes algoritmos, creemos que un agente de aprendizaje por refuerzo podría utilizarse para resolver tales escenarios de manera consistente. Nuestros resultados demuestran cómo los complejos escenarios de seguimiento de vigilancia de drones pueden ser resueltos y totalmente automatizados por agentes de aprendizaje por refuerzo. Esperamos que nuestro entorno se convierta en un punto de partida para una autonomía más sofisticada en el control de cámaras de panorámica, inclinación y zoom que rastrean drones y vigilan el espacio aéreo en busca de objetos anómalos. Por ejemplo, sistemas distribuidos y multiagente de cámaras de panorámica, inclinación y zoom combinados con otros sensores podrían llevar hacia una vigilancia totalmente autónoma, desafiando a operadores humanos experimentados.