El Internet de las cosas (IoT) está proporcionando cada vez más objetos de producción industrial para conectarse con el mundo físico y se ha utilizado ampliamente en varios campos. Aunque ha traído gran conveniencia industrial, también existen posibles amenazas de seguridad debido a las vulnerabilidades y nodos maliciosos en IoT. Para identificar correctamente el tráfico de nodos maliciosos en IoT y reducir el daño causado por ataques maliciosos a dispositivos IoT, este artículo propone un método de detección de nodos maliciosos en IoT basado en autoencoder. Las contribuciones de este artículo son las siguientes: en primer lugar, los datos de tráfico multifuncionales de alta complejidad se procesan y se reducen dimensionalmente a través del autoencoder para obtener los datos de características de baja dimensión. Luego, se adopta el modelo de mezcla gaussiana bayesiana para clusterizar los datos en un espacio de baja dimensión para detectar anomalías. Además, se utiliza el método de inferencia variacional para estimar los parámetros en el modelo de mezcla gaussiana bayesiana. Para evaluar la efectividad de nuestro modelo, utilizamos un conjunto de datos público para nuestros experimentos. Como resultado, en el experimento, el método propuesto logra una alta tasa de precisión del 99% para distinguir el tráfico normal y anormal con datos tridimensionales reducidos por el autoencoder, y establece un mejor rendimiento de detección de nuestro modelo en comparación con las soluciones anteriores de K-means y Modelo de Mezcla Gaussiana (GMM).