En los últimos años, los UAV han enfrentado amenazas de misiles cada vez más severas y diversificadas. Para abordar el desafío de que los algoritmos de evasión de misiles basados en aprendizaje por refuerzo tienen dificultades para adaptarse a varios tipos de misiles desconocidos, introducimos un algoritmo PPO sensible al riesgo y proponemos un marco de entrenamiento que incorpora mecanismos de atención de múltiples cabezas y entrenamiento adversarial de doble población. El mecanismo de atención de múltiples cabezas permite a la red de políticas extraer características latentes, como las leyes de guía de misiles, de secuencias de estado, mientras que el enfoque adversarial de doble población garantiza la diversidad y robustez de las políticas. En comparación con los métodos convencionales de auto-juego y las estrategias de evasión basadas en GRU, nuestro método demuestra una eficiencia de entrenamiento superior y genera políticas de evasión con mejor adaptabilidad a diferentes tipos de misiles.