La detección de objetos es una parte fundamental de la visión por computadora, con una amplia gama de aplicaciones en el mundo real. Implica la detección de varios objetos en imágenes digitales o videos. En este documento, proponemos un uso de prueba de concepto de algoritmos de visión por computadora para mejorar el mantenimiento de las vías ferroviarias operadas por Via Rail Canada. Via Rail opera aproximadamente 500 trenes que recorren 12,500 km de vías. Estas vías atraviesan largas extensiones de tierras escasamente pobladas. Mantener estas vías es un desafío debido a la gran cantidad de recursos necesarios para identificar los puntos de interés (POI), como la vegetación en crecimiento, los durmientes faltantes o rotos y la acumulación de agua alrededor de las vías. Nuestro objetivo es utilizar el algoritmo YOLO para identificar estos puntos de interés con la ayuda de imágenes aéreas. La solución muestra resultados prometedores en la detección de los POI basados en imágenes de vehículos aéreos no tripulados (UAV). En general, logramos una precisión del 74% en todos los POI y una precisión media promedio @ 0.5 (mAP @ 0.5) del 70.7%. La detección más exitosa fue la relacionada con los durmientes faltantes, la vegetación y la acumulación de agua, con una precisión promedio del 85% en los tres POI.