La detección de defectos en los sujetadores de vías es un componente esencial para garantizar las operaciones de seguridad ferroviaria. Los métodos tradicionales de inspección manual ya no cumplen con los requisitos de los ferrocarriles modernos. El uso de técnicas de procesamiento de imágenes de aprendizaje profundo para clasificar y reconocer sujetadores anormales es más rápido, preciso e inteligente. Con el uso generalizado de vehículos aéreos no tripulados (UAV), realizar inspecciones ferroviarias utilizando dispositivos livianos y de bajo consumo llevados por UAV se ha convertido en una tendencia futura. En este documento, abordamos las características de las tareas de detección de sujetadores de vías mejorando el modelo de detección de objetos YOLOv4-tiny. Mejoramos el modelo para producir características de una sola escala y utilizamos el algoritmo K-means++ para agrupar el conjunto de datos, obteniendo cajas de anclaje que se adaptaban mejor al conjunto de datos. Finalmente, desarrollamos la plataforma FPGA e implementamos el modelo transformado en esta plataforma. Los resultados experimentales demostraron que el modelo mejorado logró un mAP del 95.1% y una velocidad de 295.9 FPS en la FPGA, superando el rendimiento de los modelos de detección de objetos existentes. Además, la plataforma FPGA liviana y de bajo consumo cumple con los requisitos para el despliegue de UAV.