Con la aplicación y desarrollo de la tecnología de Internet, el tráfico de red está creciendo rápidamente, y la situación de la seguridad en red se está volviendo cada vez más seria. Como una forma importante de proteger la seguridad en red, la detección de tráfico anormal ha recibido cada vez más atención. En este documento, se estudia la incertidumbre de las muestras en el conjunto de datos de detección de tráfico anormal. Combinando la idea de decisión de tres vías con el algoritmo de bosque aleatorio, se propone un modelo de optimización de bosque aleatorio de selección de tres vías para la detección de tráfico anormal. Primero, la idea de decisión de tres vías se integra en el proceso de selección aleatoria de atributos de características, y se calcula la importancia de los atributos basada en la entropía del límite de decisión. Los atributos de características se dividen en el dominio normal, dominio anormal y dominio incierto, y se diseñan reglas de selección aleatoria de atributos de tres vías para seleccionar aleatoriamente los atributos de características que cumplan con las reglas de diferentes dominios. En segundo lugar, se construye la función de evaluación del clasificador combinando precisión pura y diversidad, y se selecciona el clasificador base de detección de tráfico anómalo con un alto valor de evaluación para la integración para eliminar los factores inestables causados por la aleatoriedad en el proceso de generación del clasificador base. En tercer lugar, se obtiene la combinación óptima de pesos de nodo del clasificador base mediante el cálculo iterativo del algoritmo de optimización de lobo gris para mejorar aún más el efecto de predicción y la robustez del modelo. Finalmente, se aplica el modelo al conjunto de datos de detección de tráfico anormal. Los resultados experimentales muestran que la precisión de predicción del modelo de optimización de bosque aleatorio de selección de tres vías en los conjuntos de datos CIC-IDS2017, KDDCUP99 y NSLKDD es del 96.1%, 95.2% y 95.3%, respectivamente, lo que tiene un mejor efecto de detección que otros algoritmos de aprendizaje automático.