Efa-trans: una arquitectura de aceleración eficiente y flexible para transformadores
Autores: Yang, Xin; Su, Tao
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Efa-trans: una arquitectura de aceleración eficiente y flexible para transformadores
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Transformadores
Diseños de hardware
EFA-Trans
Redes neuronales
Arquitectura de acelerador
Eficiencia energética
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 37
Citaciones: Sin citaciones
El tema de los transformadores está emergiendo rápidamente como uno de los primitivos clave más importantes en las redes neuronales. Desafortunadamente, la mayoría de los diseños de hardware para transformadores son deficientes, ya sea que apenas consideren la configurabilidad del diseño o no logren darse cuenta del proceso completo de inferencia de los transformadores. Específicamente, pocos estudios han prestado atención a la compatibilidad de diferentes paradigmas de computación. Por lo tanto, este documento presenta EFA-Trans, una arquitectura de acelerador de hardware altamente eficiente y flexible para transformadores. Para lograr un alto rendimiento, proponemos un conjunto de cálculo matricial configurable y aprovechamos las optimizaciones de las memorias en el chip. Además, con el diseño de módulos no lineales y una programación detallada, nuestra arquitectura puede realizar la inferencia completa del transformador. EFA-Trans también es compatible con patrones densos y dispersos, lo que amplía aún más sus escenarios de aplicación. Además, se abstrae un modelo analítico de rendimiento para guiar la determinación de los conjuntos de parámetros de la arquitectura. Finalmente, nuestros diseños se desarrollan mediante RTL y se evalúan en Xilinx ZCU102. Los resultados experimentales demuestran que EFA-Trans proporciona una mejora de 23.74x y 7.58x en eficiencia energética en comparación con CPU y GPU, respectivamente. También muestra que la eficiencia de DSP es entre 3.59x y 21.07x mayor que la de otros, superando a los trabajos avanzados existentes.
Descripción
El tema de los transformadores está emergiendo rápidamente como uno de los primitivos clave más importantes en las redes neuronales. Desafortunadamente, la mayoría de los diseños de hardware para transformadores son deficientes, ya sea que apenas consideren la configurabilidad del diseño o no logren darse cuenta del proceso completo de inferencia de los transformadores. Específicamente, pocos estudios han prestado atención a la compatibilidad de diferentes paradigmas de computación. Por lo tanto, este documento presenta EFA-Trans, una arquitectura de acelerador de hardware altamente eficiente y flexible para transformadores. Para lograr un alto rendimiento, proponemos un conjunto de cálculo matricial configurable y aprovechamos las optimizaciones de las memorias en el chip. Además, con el diseño de módulos no lineales y una programación detallada, nuestra arquitectura puede realizar la inferencia completa del transformador. EFA-Trans también es compatible con patrones densos y dispersos, lo que amplía aún más sus escenarios de aplicación. Además, se abstrae un modelo analítico de rendimiento para guiar la determinación de los conjuntos de parámetros de la arquitectura. Finalmente, nuestros diseños se desarrollan mediante RTL y se evalúan en Xilinx ZCU102. Los resultados experimentales demuestran que EFA-Trans proporciona una mejora de 23.74x y 7.58x en eficiencia energética en comparación con CPU y GPU, respectivamente. También muestra que la eficiencia de DSP es entre 3.59x y 21.07x mayor que la de otros, superando a los trabajos avanzados existentes.