La calidad de la fruta es un aspecto importante para determinar la preferencia del consumidor en la cadena de suministro. Se utilizó la termografía para determinar diferentes variedades de piña según los cambios fisicoquímicos de la fruta mediante el método de aprendizaje profundo. El aprendizaje profundo ha ganado atención en la clasificación y reconocimiento de frutas en el procesamiento unimodal. Este documento propone un marco de fusión de datos multimodal para la determinación de la calidad de la piña utilizando métodos de aprendizaje profundo basados en la extracción de características adquiridas de la termografía. La extracción de características se seleccionó de las imágenes térmicas que proporcionaron una correlación con los atributos de calidad de la fruta en el desarrollo de los modelos de aprendizaje profundo. Se construyeron tres tipos diferentes de arquitecturas de aprendizaje profundo, incluyendo ResNet, VGG16 e InceptionV3, para desarrollar el marco de fusión de datos multimodal para la clasificación de variedades de piña basado en la concatenación de múltiples características extraídas por las redes robustas. La fusión de datos multimodal junto con potentes arquitecturas de redes neuronales convolucionales puede distinguir notablemente diferentes variedades de piña. El marco propuesto de fusión de datos multimodal proporciona una determinación confiable de la calidad de la fruta que puede mejorar la precisión de reconocimiento y el rendimiento del modelo hasta 0.9687. La efectividad de la fusión de datos multimodal de aprendizaje profundo y la termografía tienen un gran potencial en el monitoreo de la determinación en tiempo real de los cambios fisicoquímicos de la fruta.