El reconocimiento de video en movimiento ha sido ampliamente explorado en aplicaciones de visión por computadora. En este artículo, proponemos una representación de video novedosa, que mejora el reconocimiento de movimiento en videos basados en SURF (Speeded-Up Robust Features) y dos filtros. En primer lugar, se utiliza el esquema del detector de SURF para detectar los puntos candidatos del video porque es un detector de características locales eficiente y rápido. En segundo lugar, mediante el uso del campo de flujo óptico y la trayectoria, los puntos característicos pueden filtrarse de los puntos candidatos, lo que permite una extracción robusta y eficiente de los puntos característicos de movimiento. Además, presentamos un descriptor, llamado MoSURF (Motion Speeded-Up Robust Features), basado en SURF (Speeded-Up Robust Features), HOG (Histograma de Gradiente Orientado), HOF (Histogramas de Flujo Óptico), MBH (Histogramas de Límites de Movimiento) e información de trayectoria, que puede describir efectivamente la información de movimiento y son complementarios entre sí. Evaluamos nuestra representación de video en clasificación de acciones en tres conjuntos de datos de video en movimiento, a saber, KTH, YouTube y UCF50. En comparación con los métodos de vanguardia, el método propuesto muestra resultados avanzados en todos los conjuntos de datos.