Una falla en el engranaje planetario genera fluctuaciones periódicas de velocidad, que influyen significativamente en su señal de vibración. Es necesario explorar las características de modulación de vibración de las fallas en los engranajes para proporcionar un indicador efectivo para la detección de fallas. Por lo tanto, se desarrolla un modelo dinámico superior de acoplamiento rígido-flexible de una caja de engranajes planetarios que involucra la fluctuación de velocidad causada por la falla, donde la rigidez de engranaje bajo el impacto de la fluctuación de velocidad causada por la falla se deduce de manera innovadora utilizando el método de energía potencial; luego, la rigidez de engranaje se sustituye en el modelo dinámico rígido para calcular las fuerzas de excitación. Se obtienen funciones de ruta de transferencia desde las ubicaciones de excitación hasta el sensor instalado en la carcasa considerando los parámetros modales de la carcasa flexible. Finalmente, las fuerzas de excitación se combinan con sus funciones de ruta de transferencia para calcular la señal de vibración. Las características de modulación de la falla del engranaje solar agrietado deducidas por el modelo dinámico superior emergen alrededor de la frecuencia de engranaje y sus armónicos, así como los rangos de resonancia, lo que puede ser una señal confiable para identificar fallas. El experimento realizado en una caja de engranajes planetarios de una sola etapa confirma la validez y superioridad del modelo propuesto, que tiene un valor significativo para guiar la detección y el pronóstico de fallas en cajas de engranajes planetarios.