Los modelos de transformador se utilizan cada vez más en sistemas de reconocimiento de voz de extremo a extremo por su rendimiento. Sin embargo, su tamaño sustancial plantea desafíos para desplegarlos en aplicaciones del mundo real. Estos modelos dependen en gran medida de capas de atención y de alimentación directa, siendo estas últimas las que contienen una gran cantidad de parámetros que contribuyen significativamente a la huella de memoria del modelo. En consecuencia, resulta pertinente considerar la poda de estas capas para reducir el tamaño del modelo.