logo móvil
Contáctanos

Hw-adam: acelerador basado en FPGA para la estimación momentánea adaptativa

Autores: Zhang, Weiyi; Niu, Liting; Zhang, Debing; Wang, Guangqi; Farrukh, Fasih Ud Din; Zhang, Chun

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Hw-adam: acelerador basado en FPGA para la estimación momentánea adaptativa


Categoría

Ingeniería y Tecnología

Subcategoría

Ingeniería Eléctrica y Electrónica

Palabras clave

Optimizador
ADAM
Hardware
Acelerador
Punto fijo
Rendimiento

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 42

Citaciones: Sin citaciones


Descripción
La selección del optimizador es crítica para la convergencia en el campo del entrenamiento en chip. Como un optimizador de segundo momento, la estimación de momento adaptativo (ADAM) muestra una ventaja significativa en comparación con optimizadores sin momento como el descenso de gradiente estocástico (SGD) y optimizadores de primer momento como Momentum. Sin embargo, ADAM es difícil de implementar en hardware debido a las operaciones computacionalmente intensivas, que incluyen cuadrados, extracción de raíces y divisiones. Este trabajo propuso Hardware-ADAM (HW-ADAM), un acelerador de punto fijo eficiente para ADAM que destaca las optimizaciones matemáticas orientadas al hardware. HW-ADAM tiene dos diseños: la unidad Efficient-ADAM (E-ADAM) redujo el consumo de recursos de hardware en alrededor del 90% en comparación con trabajos relacionados. E-ADAM logró un rendimiento de 2.89 MUOP/s (Millones de Operaciones de Actualización por Segundo), que es 2.8 veces el ADAM original. La unidad Fast-ADAM (F-ADAM) redujo un 91.5% de flip-flops, un 65.7% de tablas de búsqueda y un 50% de DSP en comparación con trabajos relacionados. La unidad F-ADAM logró un rendimiento de 16.7 MUOP/s, que es 16.4 veces el ADAM original.

Otros recursos que podrían interesarte

Temas Virtualpro