El aprendizaje profundo ha demostrado un gran potencial en la agricultura inteligente, especialmente en el campo del reconocimiento de plagas. Sin embargo, los métodos existentes requieren conjuntos de datos grandes y no explotan las asociaciones semánticas entre datos multimodales. Para abordar estos problemas, este documento propone un modelo transformador fino multimodal (MMFGT), un método novedoso de reconocimiento de plagas que mejora tres aspectos de la arquitectura del transformador para satisfacer las necesidades de reconocimiento de plagas de pocas muestras. Por un lado, el MMFGT utiliza el aprendizaje auto-supervisado para extender la estructura del transformador y extraer características objetivo utilizando el aprendizaje por contraste para reducir la dependencia del volumen de datos. Por otro lado, el reconocimiento fino se integra en el MMFGT para centrar la atención en áreas finamente diferenciadas de las imágenes de plagas para mejorar la precisión del reconocimiento. Además, el MMFGT mejora aún más el rendimiento en el reconocimiento de plagas utilizando la información multimodal conjunta de la imagen de la plaga y la descripción en lenguaje natural. Los extensos resultados experimentales demuestran que el MMFGT obtiene resultados más competitivos en comparación con otros modelos excelentes, como ResNet, ViT, SwinT, DINO y EsViT, en tareas de reconocimiento de plagas, con una precisión de reconocimiento de hasta el 98,12% y logrando una precisión un 5,92% mayor en comparación con el método DINO de vanguardia.