Con la popularidad de publicar memes en plataformas sociales, el impacto negativo severo de los memes odiosos está creciendo. Dado que los modelos de detección existentes tienen una precisión de detección menor que la de los humanos, la detección de memes odiosos sigue siendo un desafío para el aprendizaje estadístico y la inteligencia artificial. Este artículo propuso un método de aprendizaje multitarea que consta de una tarea multimodal primaria y dos tareas auxiliares unimodales para abordar este problema. Introdujimos una estrategia de generación auto-supervisada en tareas auxiliares para generar etiquetas auxiliares unimodales automáticamente. Mientras tanto, utilizamos BERT y RESNET como la base para la clasificación de texto e imagen, respectivamente, y luego los fusionamos con un método de fusión tardía. En la fase de entrenamiento, se utilizaron la técnica de guía hacia atrás y la estrategia de ajuste de peso adaptativo para capturar la consistencia y la variabilidad entre diferentes modalidades, mejorando numéricamente la precisión de detección de memes odiosos y la generalización y robustez del modelo. El experimento realizado en el conjunto de datos de memes odiosos multimodales de Facebook AI muestra que la precisión de predicción de nuestro modelo superó a los modelos de comparación.