Un estudio sobre la exploración de la dispersión en aceleradores basados en transformadores
Autores: Fuad, Kazi Ahmed Asif; Chen, Lizhong
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Un estudio sobre la exploración de la dispersión en aceleradores basados en transformadores
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelos de transformador
Procesamiento de lenguaje natural
Aplicaciones de visión por computadora
Dispersión
Aceleradores de hardware
Optimizaciones de memoria
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 43
Citaciones: Sin citaciones
Los modelos transformadores han surgido como el estado del arte en muchas aplicaciones de procesamiento de lenguaje natural y visión por computadora debido a su capacidad de atender a secuencias más largas de tokens y de soportar un procesamiento paralelo de manera más eficiente. Sin embargo, el entrenamiento y la inferencia de los modelos transformadores son computacionalmente costosos e intensivos en memoria. Mientras tanto, la utilización de la dispersión en modelos de aprendizaje profundo ha demostrado ser un enfoque efectivo para aliviar el desafío computacional y ayudar a ajustar modelos grandes en dispositivos periféricos. Dado que las CPUs y GPUs de alto rendimiento generalmente no son lo suficientemente flexibles para explorar la dispersión a nivel bajo, se han propuesto varios aceleradores de hardware especializados para modelos transformadores. Este documento proporciona una revisión exhaustiva de los aceleradores de hardware para transformadores que se han propuesto para explorar la dispersión en las optimizaciones de cómputo y memoria. Clasificamos los trabajos existentes en base a las estrategias de utilización de la dispersión e identificamos sus pros y contras en esas estrategias. Basándonos en nuestro análisis, señalamos direcciones prometedoras y recomendaciones para trabajos futuros sobre la mejora de la ejecución dispersa efectiva de los aceleradores de hardware para transformadores.
Descripción
Los modelos transformadores han surgido como el estado del arte en muchas aplicaciones de procesamiento de lenguaje natural y visión por computadora debido a su capacidad de atender a secuencias más largas de tokens y de soportar un procesamiento paralelo de manera más eficiente. Sin embargo, el entrenamiento y la inferencia de los modelos transformadores son computacionalmente costosos e intensivos en memoria. Mientras tanto, la utilización de la dispersión en modelos de aprendizaje profundo ha demostrado ser un enfoque efectivo para aliviar el desafío computacional y ayudar a ajustar modelos grandes en dispositivos periféricos. Dado que las CPUs y GPUs de alto rendimiento generalmente no son lo suficientemente flexibles para explorar la dispersión a nivel bajo, se han propuesto varios aceleradores de hardware especializados para modelos transformadores. Este documento proporciona una revisión exhaustiva de los aceleradores de hardware para transformadores que se han propuesto para explorar la dispersión en las optimizaciones de cómputo y memoria. Clasificamos los trabajos existentes en base a las estrategias de utilización de la dispersión e identificamos sus pros y contras en esas estrategias. Basándonos en nuestro análisis, señalamos direcciones prometedoras y recomendaciones para trabajos futuros sobre la mejora de la ejecución dispersa efectiva de los aceleradores de hardware para transformadores.