Con el desarrollo de la tecnología de redes, el número de sitios web de juegos de azar ha crecido drásticamente, lo que representa una amenaza para la estabilidad social. Muchos métodos basados en aprendizaje automático se han propuesto para identificar sitios web de juegos de azar mediante el análisis de la URL, el texto y las imágenes de los sitios web. Sin embargo, la mayoría de los métodos existentes ignoran una pieza importante de información, es decir, el texto dentro de las imágenes del sitio web. Solo se extraen las características visuales de las imágenes para la detección, mientras que se ignoran las características semánticas de los textos en las imágenes. Sin embargo, estos textos contienen información clave que apunta claramente a sitios web de juegos de azar, lo que puede ayudarnos a identificar dichos sitios web de manera más precisa. Por lo tanto, cómo fusionar datos multimodales de imagen y texto es un desafío que se debe abordar. Motivado por esto, en este documento, proponemos un método basado en la fusión de datos multimodales híbridos para identificar sitios web de juegos de azar mediante la extracción y fusión de características visuales y semánticas de las capturas de pantalla del sitio web. Primero, ajustamos finamente el modelo preentrenado ResNet34 para entrenar un clasificador de imágenes y extraer características visuales de las capturas de pantalla de la página web. En segundo lugar, extraemos el contenido textual de las capturas de pantalla de la página web a través de la técnica de reconocimiento óptico de caracteres (OCR). Utilizamos vectores de palabras Word2Vec preentrenados como la capa de incrustación inicial y utilizamos Bi-LSTM para entrenar un clasificador de texto y extraer características semánticas del contenido textual en las capturas de pantalla. En tercer lugar, utilizamos autoatención para fusionar las características visuales y semánticas y entrenar un clasificador multimodal. Los resultados de predicción de los clasificadores de imagen, texto y multimodal se fusionan mediante el método de fusión tardía para obtener el resultado de predicción final. Para demostrar la efectividad del método propuesto, realizamos experimentos en el conjunto de datos de capturas de pantalla de la página web que recopilamos. Los resultados experimentales indican que el texto OCR en las capturas de pantalla de la página web tiene características semánticas sólidas y que el método propuesto basado en la fusión de datos multimodales híbridos puede mejorar efectivamente el rendimiento en la identificación de sitios web de juegos de azar, con una precisión, precisión, recuperación y puntuación F1 de más del 99%.