La toma de decisiones humanas no se ajusta a la hipótesis de toma de decisiones independientes de la teoría clásica de la toma de decisiones. Por lo tanto, introducimos la teoría cuántica de la toma de decisiones en el modelo de Lotka-Volterra (modelo L-V), para investigar la dinámica de la población de jugadores al incorporar la estrategia inicial, los beneficios del juego y las estrategias interactivas en un sistema social abierto. Los resultados de la simulación muestran que: (1) la estrategia inicial, la intensidad de entrelazamiento de la interacción de estrategias y los beneficios impactan en la dinámica de la población; (2) En la coexistencia cooperativa, los jugadores del juego exceden mutuamente la capacidad ambiental inicial en un sistema abierto, pero no en la coexistencia competitiva; (3) En la coexistencia competitiva, una estrategia inicial que contiene una intensidad de entrelazamiento de estrategias juega un papel vital en los resultados del juego. Además, nuestro modelo propuesto delinea de manera más realista las características de la dinámica de la población en escenarios de coexistencia competitiva o cooperativa.