Detectar y rastrear orugas en entornos de huertos es crucial para avanzar en la agricultura de precisión pero sigue siendo desafiante debido a las occlusiones, la iluminación variable, la interferencia del viento y la necesidad de una detección precisa de objetos pequeños. Este estudio presenta un enfoque de aprendizaje profundo en tiempo real que integra el modelo de detección de objetos YOLO-NAS con el algoritmo de seguimiento SORT para superar estos desafíos. Evaluado en un huerto de azufaifo, el método propuesto mejoró significativamente la detección y rastreo de pequeñas orugas. Utilizando una cámara RGB-D que opera a 30 cuadros por segundo, el sistema detectó con éxito orugas de 2-5 cm a distancias de 20-35 cm, correspondientes a resoluciones de 21 x 6 a 55 x 10 píxeles. La integración de YOLO-NAS con SORT mejoró el rendimiento de detección, logrando un aumento de ~9% en detecciones verdaderas positivas y una reducción de ~8% en falsos positivos en comparación con YOLO-NAS solo. Incluso para las orugas más pequeñas (21 x 6 píxeles), el método logró una precisión de detección de verdaderos positivos de más del 60% sin falsos positivos en 1 s de inferencia. Con un tiempo de inferencia de solo 0,2 milisegundos, SORT permitió el seguimiento en tiempo real y predijo con precisión las posiciones de las orugas bajo la interferencia del viento, mejorando aún más la fiabilidad. Además, se empleó un seguimiento selectivo de esquinas para identificar la cabeza y la cola de las orugas, allanando el camino para futuras intervenciones de precisión basadas en láser enfocadas en la cabeza de la oruga.