Los robots de polinización autónomos han sido ampliamente discutidos en los últimos años. Sin embargo, la estimación precisa de las poses de las flores en entornos agrícolas complejos sigue siendo un desafío. Con este fin, este trabajo propone la implementación de una arquitectura basada en transformadores para aprender los errores de translación y rotación entre el efector final del robot de polinización y el objeto objetivo con el objetivo de mejorar la eficiencia de la polinización robótica en tareas de cruce. Las contribuciones son las siguientes: (1) Hemos desarrollado un modelo de arquitectura de transformador, equipado con dos redes neuronales feedforward que regresan directamente los errores de translación y rotación entre el efector final del robot y el objetivo de polinización. (2) Además, hemos diseñado una función de pérdida de regresión que está guiada por los errores de translación y rotación entre el efector final del robot y los objetivos de polinización. Esto permite que el brazo del robot identifique rápidamente y con precisión el objetivo de polinización desde la posición actual. (3) Además, hemos diseñado una estrategia para adquirir rápidamente un número sustancial de muestras de entrenamiento a partir de observaciones de ojo en mano, que pueden ser utilizadas como entradas para el modelo. Mientras tanto, los errores de translación y rotación identificados en el sistema de coordenadas cartesianas del end-manipulador se designan como objetivos de pérdida simultáneamente. Esto ayuda a optimizar el entrenamiento del modelo. Realizamos experimentos en un sistema realista de polinización robótica. Los resultados demuestran que el método propuesto supera al método de vanguardia, en términos de precisión y eficiencia.