Hw-adam: acelerador basado en FPGA para la estimación momentánea adaptativa
Autores: Zhang, Weiyi; Niu, Liting; Zhang, Debing; Wang, Guangqi; Farrukh, Fasih Ud Din; Zhang, Chun
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Hw-adam: acelerador basado en FPGA para la estimación momentánea adaptativa
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Optimizador
ADAM
Hardware
Acelerador
Punto fijo
Rendimiento
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 42
Citaciones: Sin citaciones
La selección del optimizador es crítica para la convergencia en el campo del entrenamiento en chip. Como un optimizador de segundo momento, la estimación de momento adaptativo (ADAM) muestra una ventaja significativa en comparación con optimizadores sin momento como el descenso de gradiente estocástico (SGD) y optimizadores de primer momento como Momentum. Sin embargo, ADAM es difícil de implementar en hardware debido a las operaciones computacionalmente intensivas, que incluyen cuadrados, extracción de raíces y divisiones. Este trabajo propuso Hardware-ADAM (HW-ADAM), un acelerador de punto fijo eficiente para ADAM que destaca las optimizaciones matemáticas orientadas al hardware. HW-ADAM tiene dos diseños: la unidad Efficient-ADAM (E-ADAM) redujo el consumo de recursos de hardware en alrededor del 90% en comparación con trabajos relacionados. E-ADAM logró un rendimiento de 2.89 MUOP/s (Millones de Operaciones de Actualización por Segundo), que es 2.8 veces el ADAM original. La unidad Fast-ADAM (F-ADAM) redujo un 91.5% de flip-flops, un 65.7% de tablas de búsqueda y un 50% de DSP en comparación con trabajos relacionados. La unidad F-ADAM logró un rendimiento de 16.7 MUOP/s, que es 16.4 veces el ADAM original.
Descripción
La selección del optimizador es crítica para la convergencia en el campo del entrenamiento en chip. Como un optimizador de segundo momento, la estimación de momento adaptativo (ADAM) muestra una ventaja significativa en comparación con optimizadores sin momento como el descenso de gradiente estocástico (SGD) y optimizadores de primer momento como Momentum. Sin embargo, ADAM es difícil de implementar en hardware debido a las operaciones computacionalmente intensivas, que incluyen cuadrados, extracción de raíces y divisiones. Este trabajo propuso Hardware-ADAM (HW-ADAM), un acelerador de punto fijo eficiente para ADAM que destaca las optimizaciones matemáticas orientadas al hardware. HW-ADAM tiene dos diseños: la unidad Efficient-ADAM (E-ADAM) redujo el consumo de recursos de hardware en alrededor del 90% en comparación con trabajos relacionados. E-ADAM logró un rendimiento de 2.89 MUOP/s (Millones de Operaciones de Actualización por Segundo), que es 2.8 veces el ADAM original. La unidad Fast-ADAM (F-ADAM) redujo un 91.5% de flip-flops, un 65.7% de tablas de búsqueda y un 50% de DSP en comparación con trabajos relacionados. La unidad F-ADAM logró un rendimiento de 16.7 MUOP/s, que es 16.4 veces el ADAM original.