El impulso del modelo de aprendizaje en conjunto ha avanzado mucho, pero la mayoría de los métodos están impulsando el modo único. Por esta razón, basado en el marco simple de mejora multiclase que utiliza la similitud local como un aprendiz débil, se extiende a la mejora de la mejora multiclase multimodal. Primero, basado en la similitud local como un aprendiz débil, se utiliza la función de pérdida para encontrar la pérdida básica, y los puntos de datos logarítmicos se binarizan. Luego, encontramos la similitud local óptima y encontramos la pérdida correspondiente. En comparación con la pérdida básica, la más pequeña es la mejor hasta ahora. En segundo lugar, se calcula la similitud local de los dos puntos, y luego se calcula la pérdida por la similitud local de los dos puntos. Finalmente, se recuperan el texto y la imagen entre sí, y se obtiene la tasa de recuperación correcta del texto y la imagen, respectivamente. Los resultados experimentales muestran que el marco de mejora multiclase multimodal con similitud local como el aprendiz débil es evaluado en el conjunto de datos estándar y comparado con otros métodos más avanzados, mostrando la competencia de experiencia de este método.