A medida que las estrategias de descarbonización de los terminales de contenedores automatizados (ACT) continúan avanzando, los vehículos guiados automatizados por batería (B-AGV) están siendo adoptados ampliamente en los ACT. El ACT en forma de U, como un diseño novedoso, enfrenta un mayor consumo de energía de los AGV debido a sus características de patio profundo. Un problema clave es cómo adoptar estrategias de carga adecuadas a las condiciones variables para reducir la pérdida de capacidad operativa causada por la carga. Este artículo propone un método de optimización basado en simulación para las estrategias de carga de AGV en ACT en forma de U, basado en un algoritmo de Optimización de Política Proximal (PPO) mejorado. En primer lugar, se incorporan estructuras de Unidad Recurrente Puerta (GRU) en el PPO para capturar correlaciones temporales en la información del estado. Para limitar de manera efectiva las magnitudes de actualización de políticas en el PPO, mejoramos la función de recorte. En segundo lugar, se establece un modelo de simulación imitando el proceso operativo de los ACT en forma de U. Por último, se lleva a cabo un entrenamiento iterativo del método propuesto basado en el modelo de simulación. Los resultados experimentales indican que el método propuesto converge más rápido que el PPO estándar y la Red Q Profunda (DQN). Al comparar el umbral de carga basado en el método propuesto con una estrategia de umbral de carga fija en seis escenarios diferentes con tasas de carga variables, la estrategia de carga propuesta demuestra una mejor adaptabilidad a las variaciones de las condiciones del terminal en dos tercios de los escenarios.