El durián es un cultivo tropical importante en el sudeste asiático, pero su rendimiento y calidad se ven gravemente afectados por una variedad de plagas y enfermedades. La inspección manual sigue siendo el método de detección dominante, pero sufre de alta intensidad laboral, baja precisión y dificultad para escalar. Para abordar estos desafíos, este documento propone EN-YOLO, un novedoso modelo de aprendizaje profundo basado en YOLO mejorado que integra la columna vertebral de EfficientNet y mecanismos de atención multimodal para la detección precisa de plagas y enfermedades del durián. El modelo elimina capas de características redundantes e introduce un borde residual de gran amplitud para preservar información espacial clave. Además, se utiliza una estrategia de entrada multimodal que incorpora imágenes RGB, de infrarrojo cercano y térmicas para mejorar la robustez bajo iluminación variable y oclusión. Los resultados experimentales en conjuntos de datos de huertos reales demuestran que EN-YOLO supera a YOLOv8 (You Only Look Once versión 8), YOLOv5-EB (You Only Look Once versión 5-Efficient Backbone) y Fieldsentinel-YOLO en precisión de detección, generalización y reconocimiento de objetos pequeños. Logra una precisión de conteo del 95.3% y muestra un rendimiento superior en pruebas de ablación y de escenas cruzadas. El sistema propuesto también admite el despliegue de drones en tiempo real e integra una base de conocimientos de expertos para el soporte de decisiones inteligentes. Este trabajo proporciona una solución eficiente, interpretable y escalable para la gestión automatizada de plagas y enfermedades en la agricultura inteligente.