Los dispositivos móviles y wearables han revolucionado el campo del monitoreo continuo de la actividad del usuario. Sin embargo, analizar los vastos y complejos datos capturados por los sensores de estos dispositivos plantea desafíos significativos. Las redes neuronales profundas han demostrado una precisión notable en el Reconocimiento de Actividad Humana (HAR), pero su aplicación en dispositivos móviles y wearables se ve limitada por recursos computacionales limitados. Para abordar esta limitación, proponemos un método novedoso llamado Destilación de Conocimiento para el Reconocimiento de Actividad Humana (KD-HAR) que aprovecha la técnica de destilación de conocimiento para comprimir modelos de redes neuronales profundas para HAR utilizando datos de sensores inerciales. Nuestro enfoque transfiere el conocimiento adquirido de modelos docentes de alta complejidad (modelos de última generación) a modelos estudiantiles con complejidad reducida. Esta estrategia de compresión nos permite mantener el rendimiento manteniendo bajos los costos computacionales. Para evaluar las capacidades de compresión de nuestro enfoque, lo evaluamos utilizando dos bases de datos populares (UCI-HAR y WISDM) que comprenden datos de sensores inerciales de teléfonos inteligentes. Nuestros resultados demuestran que nuestro método logra una precisión competitiva, incluso a tasas de compresión que van desde 18 a 42 veces el número de parámetros en comparación con el modelo docente original.