Con el uso generalizado de las aplicaciones de IoT, el malware se ha convertido en una amenaza difícil y sofisticada. Sin medidas de seguridad sólidas, una gran cantidad de datos confidenciales y clasificados podrían estar expuestos a vulnerabilidades a través de las cuales los hackers podrían realizar diversos actos ilícitos. Como resultado, se requieren mecanismos de seguridad de red mejorados que puedan analizar el tráfico de red y detectar el tráfico malicioso en tiempo real. En este documento, se propone un novedoso método de detección de malware de IoT basado en imágenes y optimizado mediante aprendizaje automático utilizando representaciones visuales (es decir, imágenes) del tráfico de red. En este método, se propuso un método de selección de características basado en el optimizador de colonia de hormigas (ACO) para obtener un número mínimo de características mientras se mejoran los resultados del clasificador de máquinas de vectores de soporte (SVM) (es decir, los resultados de detección de malware). Además, el algoritmo PSO ajustó los parámetros SVM de las diferentes funciones de kernel. Utilizando un conjunto de datos público, los resultados experimentales mostraron que la función de kernel lineal SVM es la mejor con una precisión del 95.56%, una recuperación del 96.43%, una precisión del 94.12% y un puntaje F1 del 95.26%. Comparando con la literatura, se concluyó que las técnicas bioinspiradas, es decir, ACO y PSO, podrían utilizarse para construir un sistema de detección de malware basado en aprendizaje automático efectivo y ligero para el entorno de IoT.