Secuencia a secuencia de redes neuronales inferencia en procesadores integrados utilizando búsqueda dinámica de haz
Autores: Jahier Pagliari, Daniele; Daghero, Francesco; Poncino, Massimo
Idioma: Inglés
Editor: MDPI
Año: 2020
Acceso abierto
Artículo científico
2020
Secuencia a secuencia de redes neuronales inferencia en procesadores integrados utilizando búsqueda dinámica de haz
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Secuencia a secuencia
Redes neuronales profundas
Técnicas de optimización
Dispositivos integrados
Consumo de energía
Búsqueda dinámica de haces
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 25
Citaciones: Sin citaciones
Las redes neuronales profundas de secuencia a secuencia se han convertido en el estado del arte para una variedad de aplicaciones de aprendizaje automático, que van desde la traducción automática neuronal (NMT) hasta el reconocimiento de voz. Muchas aplicaciones móviles e Internet de las Cosas (IoT) se beneficiarían de la capacidad de realizar inferencias de secuencia a secuencia directamente en dispositivos integrados, reduciendo así la cantidad de datos crudos transmitidos a la nube y obteniendo beneficios en términos de latencia de respuesta, consumo de energía y seguridad. Sin embargo, debido a la alta complejidad computacional de estos modelos, se necesitan técnicas de optimización específicas para lograr un rendimiento y consumo de energía aceptables en procesadores integrados de un solo núcleo. En este documento, presentamos una nueva técnica de optimización llamada búsqueda dinámica de haz, en la que la complejidad de la inferencia se ajusta a la dificultad de la secuencia de entrada procesada en tiempo de ejecución. Los resultados basados en mediciones en un dispositivo integrado real y en tres modelos de aprendizaje profundo de última generación muestran que nuestro método es capaz de reducir el tiempo de inferencia y la energía hasta en un 25% sin pérdida de precisión.
Descripción
Las redes neuronales profundas de secuencia a secuencia se han convertido en el estado del arte para una variedad de aplicaciones de aprendizaje automático, que van desde la traducción automática neuronal (NMT) hasta el reconocimiento de voz. Muchas aplicaciones móviles e Internet de las Cosas (IoT) se beneficiarían de la capacidad de realizar inferencias de secuencia a secuencia directamente en dispositivos integrados, reduciendo así la cantidad de datos crudos transmitidos a la nube y obteniendo beneficios en términos de latencia de respuesta, consumo de energía y seguridad. Sin embargo, debido a la alta complejidad computacional de estos modelos, se necesitan técnicas de optimización específicas para lograr un rendimiento y consumo de energía aceptables en procesadores integrados de un solo núcleo. En este documento, presentamos una nueva técnica de optimización llamada búsqueda dinámica de haz, en la que la complejidad de la inferencia se ajusta a la dificultad de la secuencia de entrada procesada en tiempo de ejecución. Los resultados basados en mediciones en un dispositivo integrado real y en tres modelos de aprendizaje profundo de última generación muestran que nuestro método es capaz de reducir el tiempo de inferencia y la energía hasta en un 25% sin pérdida de precisión.