El carcinoma de células escamosas de orofaringe (OPSCC) es una de las formas comunes de heterogeneidad en el cáncer de cabeza y cuello. La infección con el virus del papiloma humano (VPH) ha sido identificada como un factor de riesgo importante para el OPSCC. Por lo tanto, diferenciar los casos positivos y negativos de VPH en pacientes con OPSCC es un factor diagnóstico esencial que influye en las decisiones futuras de tratamiento. En este estudio, investigamos la precisión de un método basado en aprendizaje profundo para la interpretación de imágenes y detectamos automáticamente el estado de VPH de OPSCC en imágenes de Tomografía Computarizada (TC) y Tomografía por Emisión de Positrones (PET) adquiridas de forma rutinaria. Introducimos una arquitectura de fusión de características multimodales basada en CNN 3D para la predicción del estado de VPH en lesiones tumorales primarias. La arquitectura está compuesta por un conjunto de redes CNN y fusiona características de imagen en una capa de clasificación softmax. El proceso aprende por separado la intensidad, variación de contraste, forma, heterogeneidad de textura y evaluación metabólica de las regiones de volumen tumoral de TC y PET, y fusiona esas características multimodales para la clasificación final del estado de VPH. Se calculan la precisión, recuperación y puntuaciones de AUC del método propuesto, y los resultados se comparan con otros modelos existentes. Los resultados experimentales demuestran que el modelo de conjunto multimodal con votación suave superó a la PET/TC de una sola modalidad, con un AUC de 0.76 y una puntuación de 0.746 en los conjuntos de datos públicos TCGA y MAASTRO. En el conjunto de datos MAASTRO, nuestro modelo logró una puntuación de AUC de 0.74 sobre los volúmenes tumorales primarios de interés (VOIs). En el futuro, una validación de cohortes más extensa puede ser suficiente para una mejor precisión diagnóstica y proporcionar una evaluación preliminar antes de la biopsia.