El número de espigas de trigo por unidad de área es crucial para evaluar el rendimiento del trigo, pero el recuento automatizado de espigas de trigo todavía enfrenta desafíos significativos debido a factores como la iluminación, la orientación y las variaciones de densidad. Alejándose de la mayoría de las metodologías estáticas de análisis de imágenes, este estudio presenta Wheat-FasterYOLO, un modelo eficiente en tiempo real diseñado para detectar, seguir y contar espigas de trigo en secuencias de video. Este modelo utiliza FasterNet como su red de extracción de características fundamental, reduciendo significativamente el recuento de parámetros del modelo y mejorando la velocidad de inferencia del modelo. También incorporamos convoluciones deformables y atención dispersa dinámica en la red de extracción de características para mejorar su capacidad de capturar características de espigas de trigo mientras se reducen los efectos de condiciones ambientales intrincadas. Para abordar la pérdida de información durante el muestreo ascendente y fortalecer la capacidad del modelo para extraer características de espigas de trigo en diferentes escalas de mapas de características, integramos una red de agregación de rutas (PAN) con el operador de muestreo ascendente de reensamblaje consciente del contenido de características (CARAFE). Además, la incorporación del algoritmo de seguimiento de objetivos basado en el filtro de Kalman, Observation-centric SORT (OC-SORT), permite el seguimiento y recuento en tiempo real de las espigas de trigo en entornos de campo extensos. Los resultados experimentales demuestran que Wheat-FasterYOLO logra un puntaje de precisión promedio (mAP) del 94.01% con un uso de memoria pequeño de 2.87MB, superando a detectores populares como YOLOX y YOLOv7-Tiny. Con la integración de OC-SORT, la precisión de seguimiento de orden superior compuesto (HOTA) y la precisión de conteo alcanzaron el 60.52% y el 91.88%, respectivamente, manteniendo una velocidad de cuadro de 92 cuadros por segundo (FPS). Esta tecnología tiene aplicaciones prometedoras en tareas de conteo de espigas de trigo.