En este estudio, introducimos la aplicación de modelos de aprendizaje profundo (DL), específicamente redes neuronales convolucionales (CNN), para detectar el estado de salud de las hojas de palmera datilera utilizando imágenes capturadas por un vehículo aéreo no tripulado (UAV). Las imágenes se modelan utilizando el método de Newton-Euler para garantizar la estabilidad y la adquisición precisa de imágenes. Estos modelos de aprendizaje profundo se implementan mediante un sistema de clasificación basado en votación (VBC) que combina múltiples arquitecturas de CNN, incluyendo MobileNet, una CNN hecha a mano, VGG16 y VGG19, para mejorar la precisión y robustez de la clasificación. Los clasificadores generan predicciones de manera independiente, y un mecanismo de votación determina la clasificación final. Esta hibridación de servoing visual basado en imágenes (IBVS) y clasificadores permite adaptaciones inmediatas a las condiciones cambiantes, proporcionando un vuelo sencillo y suave, así como clasificación visual. El conjunto de datos utilizado en este estudio se recopiló utilizando un UAV de doble cámara, que captura imágenes de alta resolución para detectar plagas en las hojas de palmera datilera. Después de aplicar la estrategia de clasificación propuesta, el método de votación implementado logró una impresionante precisión del 99.16% en el conjunto de prueba para detectar condiciones de salud en las hojas de palmera datilera, superando a los clasificadores individuales. Los resultados obtenidos se discuten y comparan para mostrar la efectividad de esta técnica de clasificación.