Este estudio presenta un enfoque para abordar los desafíos de reconocer la etapa de madurez y contar pimientos dulces de diferentes colores (verde, amarillo, naranja y rojo) dentro de ambientes de invernadero. La metodología aprovecha el modelo YOLOv5 para la detección, clasificación y localización de objetos en tiempo real, junto con el algoritmo DeepSORT para un seguimiento eficiente. El sistema se implementó con éxito para monitorear la producción de pimientos dulces y se superaron de manera efectiva algunos desafíos relacionados con este entorno, como las oclusiones y la presencia de hojas y ramas. Evaluamos nuestro algoritmo utilizando datos del mundo real recopilados en un invernadero de pimientos dulces. Se compiló meticulosamente un conjunto de datos que consta de 1863 imágenes para mejorar el estudio, incorporando diversas variedades de pimientos dulces y niveles de madurez. Además, el estudio enfatizó el papel de los niveles de confianza en el reconocimiento de objetos, logrando un nivel de confianza de 0.973. Además, el algoritmo DeepSORT se aplicó con éxito para contar pimientos dulces, demostrando un nivel de precisión del 85.7% en dos entornos simulados bajo condiciones desafiantes, como iluminación variada e inexactitudes en la evaluación del nivel de madurez.