El progreso continuo en el aprendizaje automático (ML) ha llevado a avances significativos en tareas agrícolas. Debido a su fuerte capacidad para extraer características de alta dimensionalidad de imágenes de frutas, el aprendizaje profundo (DL) se utiliza ampliamente en la detección de frutas y la cosecha automática. Las redes neuronales convolucionales (CNN), en particular, han demostrado la capacidad de lograr niveles de precisión y velocidad comparables a los de los humanos en algunos campos de detección de frutas y cosecha automática. Este documento presenta una visión general y revisión exhaustiva de la detección y reconocimiento de frutas basados en DL para la cosecha automática desde 2018 hasta ahora. Nos enfocamos en los desafíos actuales que afectan el rendimiento de la detección de frutas para la cosecha automática: la escasez de conjuntos de datos de frutas de alta calidad, la detección de frutas de objetivos pequeños, la detección de frutas en escenarios ocultos y densos, la detección de frutas de múltiples escalas y especies, y modelos de detección de frutas ligeros. En respuesta a estos desafíos, proponemos soluciones factibles y tendencias de desarrollo futuro prospectivas. La investigación futura debería priorizar la solución de estos desafíos actuales y mejorar la precisión, velocidad, robustez y generalización de los sistemas de detección de visión de frutas, al tiempo que se reduce la complejidad y el costo general. Este documento espera proporcionar una referencia para investigaciones posteriores en el campo de la detección y reconocimiento de frutas basados en DL para la cosecha automática.