La detección de defectos en la superficie del riel es vital para la seguridad ferroviaria. Los métodos tradicionales fallan con tamaños de defectos variables y fondos complejos, mientras que los modelos de aprendizaje profundo de dos etapas, aunque precisos, carecen de capacidades en tiempo real. Para superar estos desafíos, proponemos un modelo de detección mejorado de una sola etapa basado en CenterNet. Reemplazamos ResNet con ResNeXt e implementamos una estructura de múltiples ramas para una mejor extracción de características de bajo nivel. Además, integramos el mecanismo de atención SKNet con la estructura C2f de YOLOv8, mejorando el enfoque del modelo en regiones críticas de la imagen y mejorando la detección de defectos menores. También introducimos un núcleo gaussiano elíptico para la pérdida de regresión de tamaño, representando mejor la relación de aspecto de los defectos en rieles. Este enfoque mejora la precisión de detección y acelera el entrenamiento. Nuestro modelo logra una precisión media de 0,952 en el conjunto de datos de defectos en rieles, superando a otros modelos con una mejora del 6,6% sobre el original y un aumento del 35,5% en la velocidad de entrenamiento. Estos resultados demuestran la eficiencia y confiabilidad de nuestro método para la detección de defectos en rieles.