Durante los últimos diez años, los avances en la tecnología de baterías han impulsado drásticamente la evolución de las tecnologías de vehículos eléctricos (VE). Para las aplicaciones de VE, estimar con precisión el estado de carga (SOC) es fundamental para garantizar un funcionamiento seguro y prolongar la vida útil de las baterías, especialmente bajo escenarios de carga complejos. A pesar del progreso en esta área, modelar y predecir la evaluación de sistemas electroquímicos multiphysics y multiscale bajo condiciones realistas utilizando cálculos de primeros principios y atomísticos sigue siendo un desafío. Este estudio propone una solución diseñando una arquitectura de red especializada basada en Transformadores, llamada Representaciones de Codificadores Bidireccionales de Transformadores para Baterías (BERTtery), que solo utiliza datos de baterías resueltos en el tiempo (es decir, corriente, voltaje y temperatura) como entrada para estimar el SOC. Para mejorar la generalización del modelo de Transformadores, se entrenó y probó en una amplia gama de condiciones de trabajo, incluidas diversas condiciones de envejecimiento (que van desde el 100% al 80% de la capacidad nominal) y diferentes ventanas de temperatura (desde 35 grados Celsius hasta -5 grados Celsius). Para garantizar la efectividad del modelo, se realizó una rigurosa prueba de su rendimiento a nivel de paquete, lo que permite la traducción de predicciones a nivel de celda en problemas de la vida real con cientos de celdas en condiciones en serie posibles. Los mejores modelos logran un error cuadrático medio (RMSE) de menos de 0.5 error de prueba y aproximadamente un error porcentual promedio (APE) del 0.1%, con errores absolutos máximos (MAE) del 2% en el conjunto de datos de prueba, estimando con precisión el SOC bajo condiciones de funcionamiento y envejecimiento dinámicas con perfiles operativos ampliamente variables. Estos resultados demuestran el poder del modelo basado en Transformadores de autoatención para predecir el comportamiento de sistemas de baterías complejos multiphysics y multiscale.