Con el rápido aumento de la población mundial, existe una necesidad cada vez mayor de un suministro de alimentos sostenible. La agricultura es uno de los pilares para el abastecimiento mundial de alimentos, siendo las frutas y verduras esenciales para una dieta saludable. Sin embargo, en los últimos años la dispersión mundial de plagas y enfermedades vegetales virulentas ha causado disminuciones significativas en el rendimiento y calidad de los cultivos, en particular frutas, cereales y verduras. El cambio climático y la intensificación de los flujos comerciales globales acentúan aún más el problema. El Manejo Integrado de Plagas (MIP) es un enfoque para el control de plagas que tiene como objetivo mantener los insectos plagas en niveles tolerables, manteniendo las poblaciones de plagas por debajo de un nivel de daño económico. En estas circunstancias, la identificación temprana de plagas y enfermedades se vuelve crucial. En este trabajo, presentamos el primer paso hacia un sistema de apoyo a la toma de decisiones semánticamente mejorado y completamente desarrollado para el MIP. El objetivo final es construir una base de conocimientos agrícolas completa mediante la recopilación de datos de múltiples fuentes heterogéneas y desarrollar un sistema para ayudar a los agricultores en la toma de decisiones sobre el control de plagas y enfermedades. El marco clasificador de plagas ha sido evaluado en un entorno simulado, obteniendo una precisión agregada del 98.8%.