Acelerador de transformador escalable con matriz sistólica variable para múltiples modelos en aplicaciones de asistente de voz
Autores: Chang, Seok-Woo; Kim, Dong-Sun
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Acelerador de transformador escalable con matriz sistólica variable para múltiples modelos en aplicaciones de asistente de voz
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Modelo transformer
Aprendizaje profundo
Procesamiento de lenguaje natural
Acelerador de transformer
Unidad de aceleración de transformer escalable
Aplicaciones de asistente de voz
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 36
Citaciones: Sin citaciones
El modelo Transformer es un tipo de modelo de aprendizaje profundo que se ha vuelto rápidamente fundamental en el procesamiento del lenguaje natural (NLP) y otras tareas de aprendizaje automático. Los aceleradores de hardware Transformer suelen estar diseñados para modelos específicos, como Representaciones de Codificador Bidireccional de Transformers (BERT), y modelos de Transformer de visión, como el ViT. En este estudio, proponemos una Unidad Aceleradora de Transformer Escalable (STAU) para múltiples modelos, lo que permite el manejo eficiente de varios modelos de Transformer utilizados en aplicaciones de asistentes de voz. El diseño centralizado de Matriz Sistólica Variable (VSA), junto con el control y preprocesamiento de datos en procesadores integrados, permite operaciones de matriz de tamaños variables. Además, proponemos una estructura variable eficiente y un método de entrada de datos por filas para el procesamiento del lenguaje natural donde el recuento de palabras cambia. El acelerador de Transformer escalable propuesto acelera la sumarización de texto, el procesamiento de audio, la búsqueda de imágenes y la IA generativa utilizada en la asistencia de voz.
Descripción
El modelo Transformer es un tipo de modelo de aprendizaje profundo que se ha vuelto rápidamente fundamental en el procesamiento del lenguaje natural (NLP) y otras tareas de aprendizaje automático. Los aceleradores de hardware Transformer suelen estar diseñados para modelos específicos, como Representaciones de Codificador Bidireccional de Transformers (BERT), y modelos de Transformer de visión, como el ViT. En este estudio, proponemos una Unidad Aceleradora de Transformer Escalable (STAU) para múltiples modelos, lo que permite el manejo eficiente de varios modelos de Transformer utilizados en aplicaciones de asistentes de voz. El diseño centralizado de Matriz Sistólica Variable (VSA), junto con el control y preprocesamiento de datos en procesadores integrados, permite operaciones de matriz de tamaños variables. Además, proponemos una estructura variable eficiente y un método de entrada de datos por filas para el procesamiento del lenguaje natural donde el recuento de palabras cambia. El acelerador de Transformer escalable propuesto acelera la sumarización de texto, el procesamiento de audio, la búsqueda de imágenes y la IA generativa utilizada en la asistencia de voz.