Un acelerador LSTM de pico para aplicación de reconocimiento automático del habla basado en FPGA
Autores: Yin, Tingting; Dong, Feihong; Chen, Chao; Ouyang, Chenghao; Wang, Zheng; Yang, Yongkui
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un acelerador LSTM de pico para aplicación de reconocimiento automático del habla basado en FPGA
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Aplicación
Aumento de red LSTM
Consumo de energía
Acelerador
Latencia de inferencia
Implementación de hardware
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 34
Citaciones: Sin citaciones
La memoria a corto y largo plazo (LSTM) encuentra una amplia aplicación en tareas de aprendizaje secuencial, especialmente en reconocimiento de voz. Sin embargo, los aceleradores existentes diseñados para redes LSTM tradicionales luchan con un alto consumo de energía, principalmente debido a las operaciones intensivas de multiplicación de matrices y vectores inherentes a las redes LSTM. En contraste, la red LSTM de picos ha sido diseñada para evitar estas operaciones de multiplicación reemplazándolas por adición y comparación. En este documento, presentamos un acelerador basado en FPGA específicamente diseñado para redes LSTM de picos. En primer lugar, empleamos un circuito de bajo costo en la compuerta LSTM para reducir significativamente el consumo de energía y el costo del hardware. En segundo lugar, proponemos una arquitectura de procesamiento serie-paralelo junto con una implementación de hardware para reducir la latencia de inferencia. En tercer lugar, cuantizamos e implementamos eficientemente las sinapsis de la red LSTM de picos. El consumo de energía del acelerador implementado en Artix-7 y Zynq-7000 es de aproximadamente 1,1 W y 0,84 W, respectivamente, al realizar la inferencia para el reconocimiento de voz con el conjunto de datos de dígitos hablados gratuitos (FSDD). Además, la energía consumida por inferencia es notablemente eficiente, con valores de 87 uJ y 66 uJ, respectivamente. En comparación con los aceleradores dedicados diseñados para redes LSTM tradicionales, nuestro acelerador LSTM de picos logra una reducción notable en el consumo de energía, de magnitudes ordenadas.
Descripción
La memoria a corto y largo plazo (LSTM) encuentra una amplia aplicación en tareas de aprendizaje secuencial, especialmente en reconocimiento de voz. Sin embargo, los aceleradores existentes diseñados para redes LSTM tradicionales luchan con un alto consumo de energía, principalmente debido a las operaciones intensivas de multiplicación de matrices y vectores inherentes a las redes LSTM. En contraste, la red LSTM de picos ha sido diseñada para evitar estas operaciones de multiplicación reemplazándolas por adición y comparación. En este documento, presentamos un acelerador basado en FPGA específicamente diseñado para redes LSTM de picos. En primer lugar, empleamos un circuito de bajo costo en la compuerta LSTM para reducir significativamente el consumo de energía y el costo del hardware. En segundo lugar, proponemos una arquitectura de procesamiento serie-paralelo junto con una implementación de hardware para reducir la latencia de inferencia. En tercer lugar, cuantizamos e implementamos eficientemente las sinapsis de la red LSTM de picos. El consumo de energía del acelerador implementado en Artix-7 y Zynq-7000 es de aproximadamente 1,1 W y 0,84 W, respectivamente, al realizar la inferencia para el reconocimiento de voz con el conjunto de datos de dígitos hablados gratuitos (FSDD). Además, la energía consumida por inferencia es notablemente eficiente, con valores de 87 uJ y 66 uJ, respectivamente. En comparación con los aceleradores dedicados diseñados para redes LSTM tradicionales, nuestro acelerador LSTM de picos logra una reducción notable en el consumo de energía, de magnitudes ordenadas.