En el sistema de transmisión de engranajes planetarios compuestos del vehículo, las excitaciones no lineales como la rigidez de engranaje variable en el tiempo, el juego y el error integral provocarían grandes vibraciones y ruido, distribución de carga desigual, operación inestable y otros problemas. Para abordar estos problemas, este trabajo se centra en los engranajes planetarios compuestos y desarrolla el modelo dinámico no lineal de acoplamiento de flexión-torsión del sistema basado en la ecuación de Lagrange. Se aplican excitaciones internas y externas de múltiples fuentes al sistema. Este modelo se utiliza para estudiar la relación de deformación de acoplamiento de flexión-torsión de cada par de engranajes junto con las direcciones translacional y torsional. Las frecuencias naturales y las características modales de vibración del sistema se extraen del modelo, y se estudia la influencia de la inercia rotacional y la rigidez de engranaje en las características inherentes del sistema. Se analizan las características de vibración acoplada del sistema bajo condiciones de operación en términos de las características inherentes y las características tiempo-frecuencia del sistema. Los resultados de la simulación muestran que el sistema de engranajes planetarios tiene tres modos. El cambio en la trayectoria de frecuencia natural presenta dos fenómenos: transición modal e intersección de trayectoria. Las frecuencias principales incluyen la frecuencia de rotación del motor, la frecuencia de engranaje y su doble frecuencia, y la frecuencia de rotación y la frecuencia armónica del motor tienen una gran influencia en la respuesta de vibración del sistema. Finalmente, el prototipo virtual del sistema planetario compuesto se utiliza para verificar la precisión del modelo establecido en términos de velocidad, características inherentes, fuerza de engranaje y composición de frecuencia.