El reconocimiento de gestos manuales es un área de estudio que intenta identificar gestos humanos a través de algoritmos matemáticos y puede ser utilizado en varios campos, como la comunicación entre personas sordomudas, la interacción humano-computadora, la conducción inteligente y la realidad virtual. Sin embargo, los cambios en escala y ángulo, así como los complejos fondos similares a la piel, hacen que el reconocimiento de gestos sea bastante desafiante. En este documento, proponemos un enfoque robusto de reconocimiento para gestos manuales a diferentes escalas y ángulos contra fondos complejos. Primero, los gestos manuales se segmentan de fondos complejos utilizando el modelo de Gaussiana única y el algoritmo K-means. Luego, la característica HOG y una característica mejorada 9ULBP se fusionan en la característica HOG-9ULBP, que es invariante en escala y rotación y permite una extracción precisa de características. Finalmente, se adopta SVM para completar la clasificación de gestos manuales. Los resultados experimentales muestran que el método propuesto logra la mayor precisión de 99.01%, 97.50% y 98.72% en el conjunto de datos recolectado, el conjunto de datos NUS y el conjunto de datos MU HandImages ASL, respectivamente.