El modelado y análisis dinámico se consideran generalmente herramientas efectivas para investigar las características de vibración y los mecanismos de falla de los sistemas de engranajes planetarios con fallas por grietas en los dientes. En los engranajes reales, la grieta en el diente es siempre una superficie espacial tridimensional, pero en la mayoría de los estudios anteriores se simplificó como un dominio bidimensional. En este artículo, la grieta en el diente se modela como una forma espacial que se propaga simultáneamente a lo largo de la profundidad, longitud y altura de la grieta. Basado en el principio de energía potencial, se propone un método analítico mejorado para calcular la rigidez de malla variable en el tiempo (TVMS) de un sistema de engranajes planetarios con una grieta espacial en el diente. Además, se establece un modelo dinámico acoplado translacional-torsional para un sistema de engranajes planetarios que incluye parámetros variables en el tiempo y factores no lineales. Se realizan simulaciones numéricas para revelar las influencias de la propagación de la grieta espacial en la TVMS y las respuestas de vibración. Además, se lleva a cabo un estudio experimental en un banco de pruebas de transmisión de engranajes para verificar el método analítico propuesto y el modelo dinámico. El método de cálculo de la rigidez de malla del diente con grietas espaciales y los resultados de análisis correspondientes en este estudio podrían proporcionar referencias para detectar fallas por grietas en los dientes en sistemas de engranajes planetarios.