logo móvil
Contáctanos

Un estudio sobre la exploración de la dispersión en aceleradores basados en transformadores

Autores: Fuad, Kazi Ahmed Asif; Chen, Lizhong

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Un estudio sobre la exploración de la dispersión en aceleradores basados en transformadores


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Modelos de transformador
Procesamiento de lenguaje natural
Aplicaciones de visión por computadora
Dispersión
Aceleradores de hardware
Optimizaciones de memoria

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 43

Citaciones: Sin citaciones


Descripción
Los modelos transformadores han surgido como el estado del arte en muchas aplicaciones de procesamiento de lenguaje natural y visión por computadora debido a su capacidad de atender a secuencias más largas de tokens y de soportar un procesamiento paralelo de manera más eficiente. Sin embargo, el entrenamiento y la inferencia de los modelos transformadores son computacionalmente costosos e intensivos en memoria. Mientras tanto, la utilización de la dispersión en modelos de aprendizaje profundo ha demostrado ser un enfoque efectivo para aliviar el desafío computacional y ayudar a ajustar modelos grandes en dispositivos periféricos. Dado que las CPUs y GPUs de alto rendimiento generalmente no son lo suficientemente flexibles para explorar la dispersión a nivel bajo, se han propuesto varios aceleradores de hardware especializados para modelos transformadores. Este documento proporciona una revisión exhaustiva de los aceleradores de hardware para transformadores que se han propuesto para explorar la dispersión en las optimizaciones de cómputo y memoria. Clasificamos los trabajos existentes en base a las estrategias de utilización de la dispersión e identificamos sus pros y contras en esas estrategias. Basándonos en nuestro análisis, señalamos direcciones prometedoras y recomendaciones para trabajos futuros sobre la mejora de la ejecución dispersa efectiva de los aceleradores de hardware para transformadores.

Otros recursos que podrían interesarte

Temas Virtualpro