Predicción temprana de activación de DNN utilizando cálculos jerárquicos
Autores: Suresh, Bharathwaj; Pillai, Kamlesh; Kalsi, Gurpreet Singh; Abuhatzera, Avishaii; Subramoney, Sreenivas
Idioma: Inglés
Editor: MDPI
Año: 2021
Acceso abierto
Artículo científico
2021
Predicción temprana de activación de DNN utilizando cálculos jerárquicos
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Redes neuronales
Aprendizaje profundo
Computación aproximada
Unidad lineal rectificada
Operación MAC
Computación jerárquica
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 31
Citaciones: Sin citaciones
Las redes neuronales profundas (DNNs) han establecido números de rendimiento de vanguardia en diversos campos de la electrónica (visión por computadora, reconocimiento de voz), biología, bioinformática, etc. Sin embargo, el proceso de aprendizaje (entrenamiento) a partir de los datos y la aplicación de la información aprendida (proceso de inferencia) requiere enormes recursos computacionales. La computación aproximada es un método común para reducir el costo computacional, pero introduce pérdida en la precisión de la tarea, lo que limita su aplicación. Usando una propiedad inherente de la Unidad Lineal Rectificada (ReLU), una función de activación popular, proponemos un modelo matemático para realizar la operación MAC utilizando precisión reducida para predecir los valores negativos tempranamente. También proponemos un método para realizar cálculos jerárquicos para lograr los mismos resultados que el cálculo de precisión completa IEEE754. Aplicar este método en ResNet50 y VGG16 muestra que hasta el 80% de los ceros de ReLU (que representan el 50% de todas las salidas de ReLU) pueden ser predichos y detectados tempranamente utilizando solo 3 de los 23 bits de la mantisa. Este método es igualmente aplicable a otras representaciones de punto flotante.
Descripción
Las redes neuronales profundas (DNNs) han establecido números de rendimiento de vanguardia en diversos campos de la electrónica (visión por computadora, reconocimiento de voz), biología, bioinformática, etc. Sin embargo, el proceso de aprendizaje (entrenamiento) a partir de los datos y la aplicación de la información aprendida (proceso de inferencia) requiere enormes recursos computacionales. La computación aproximada es un método común para reducir el costo computacional, pero introduce pérdida en la precisión de la tarea, lo que limita su aplicación. Usando una propiedad inherente de la Unidad Lineal Rectificada (ReLU), una función de activación popular, proponemos un modelo matemático para realizar la operación MAC utilizando precisión reducida para predecir los valores negativos tempranamente. También proponemos un método para realizar cálculos jerárquicos para lograr los mismos resultados que el cálculo de precisión completa IEEE754. Aplicar este método en ResNet50 y VGG16 muestra que hasta el 80% de los ceros de ReLU (que representan el 50% de todas las salidas de ReLU) pueden ser predichos y detectados tempranamente utilizando solo 3 de los 23 bits de la mantisa. Este método es igualmente aplicable a otras representaciones de punto flotante.