Teniendo en cuenta que la ocurrencia y propagación de enfermedades están estrechamente relacionadas con el entorno de siembra, se propone un método de diagnóstico de enfermedades del tomate basado en el aprendizaje de fusión multi-modal Multi-ResNet34 basado en aprendizaje residual para el problema de la tasa de reconocimiento limitada de una sola imagen RGB de una enfermedad del tomate. Basado en la red principal ResNet34, este documento introduce el aprendizaje por transferencia para acelerar el entrenamiento, reducir las dependencias de datos y prevenir el sobreajuste debido a una pequeña cantidad de datos de muestra; también integra datos de múltiples fuentes (datos de imagen de enfermedades del tomate y parámetros ambientales). Se utiliza un método de fusión de datos multi-modales a nivel de características para retener la información clave de los datos para identificar la característica, de modo que los datos modales diferentes puedan complementarse, apoyarse y corregirse entre sí, y obtener un efecto de identificación más preciso. En primer lugar, se utilizó Mask R-CNN para extraer imágenes parciales de hojas de imágenes complejas de enfermedades del tomate de fondo para reducir la influencia de las regiones de fondo en la identificación de enfermedades. Luego, el conjunto de datos de imágenes formadas del entorno se introdujo en el modelo de fusión multi-modal para obtener los resultados de identificación de los tipos de enfermedades. El modelo de fusión multi-modal propuesto Multi-ResNet34 tiene una precisión de clasificación del 98.9% para seis enfermedades del tomate: mancha bacteriana, tizón tardío, moho de la hoja, aspergilosis amarilla, moho gris y tizón temprano, que es mayor que la del modelo unimodal. Con un aumento del 1.1%, el efecto es evidente. El método en este documento puede proporcionar una base importante para el análisis y diagnóstico de enfermedades de invernadero inteligentes de tomate en el contexto de la informatización agrícola.