El reconocimiento automático de modulación (AMR) ha sido ampliamente utilizado tanto en campos militares como civiles. Dado que el reconocimiento de señales digitales a baja relación señal-ruido (SNR) es difícil y complejo, en este documento se propone un algoritmo de análisis de agrupamiento para su reconocimiento. Primero, la constelación de señales digitales se extrae de la forma de onda recibida (señal digital + ruido) utilizando la descomposición ortogonal y luego se desenreda utilizando un algoritmo denominado técnica de agrupamiento espacial basada en densidad automática en ruido (ADBSCAN). La combinación del algoritmo de agrupamiento de picos de densidad (DPC) y el agrupamiento mejorado de K-medias se utiliza para extraer las características del grafo de la constelación, los autovalores se introducen en clasificadores multi-SVM de soporte en cascada y se obtiene el modo de modulación de la señal. BPSK, QPSK, 8PSK, 16QAM y 32QAM, cinco tipos de señales digitales, son entrenados y clasificados por nuestro método propuesto. En comparación con el algoritmo clásico de aprendizaje automático, el algoritmo propuesto tiene una mayor precisión de reconocimiento a baja SNR (menos de 4dB), lo que confirma que el método propuesto de reconocimiento de modulación es efectivo en sistemas de comunicación no cooperativos.