Los métodos actuales de modelado del error de avance de la máquina herramienta son desafiantes para cumplir con la demanda de mecanizado de alta precisión cuando se enfrentan a condiciones de mecanizado complejas. Para mejorar la precisión predictiva del modelo y la efectividad de la compensación real, se propone el algoritmo de Optimización de Enjambre de Partículas de Ballenas (WPSO) para optimizar la Red Neuronal de Retropropagación (BPNN). Posteriormente, la red optimizada incorpora la elongación del tornillo y la posición de avance como entradas para establecer un modelo de predicción de error de avance. En última instancia, el modelo establecido se comparó con otros modelos y se aplicó a experimentos de compensación en tiempo real. Los resultados de la investigación muestran que el modelo de predicción propuesto supera al modelo BPNN, al modelo BPNN optimizado por enjambre de partículas y al modelo BPNN optimizado por ballenas en diversos indicadores. La precisión del modelo de predicción fue del 93.12%, y los errores oscilaron entre -3.80 m y 4.57 m con un error promedio de -0.30 m. Bajo diferentes condiciones de funcionamiento, los errores máximos hacia atrás y hacia adelante se reducen en un 33.21% y un 87.21%, y los errores promedio hacia atrás y hacia adelante se reducen en un 57.15% y un 84.37%, respectivamente. El rango de error se reduce en un 67.41%. Más allá de elevar la precisión de la predicción y la eficacia de la compensación, el modelo propuesto ofrece una sólida orientación teórica para la producción práctica.