Un estudio sistemático de modelos de redes neuronales recurrentes para aplicaciones de inteligencia en el borde y reconocimiento de actividad humana
Autores: Lalapura, Varsha S.; Bhimavarapu, Veerender Reddy; Amudha, J.; Satheesh, Hariram Selvamurugan
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Un estudio sistemático de modelos de redes neuronales recurrentes para aplicaciones de inteligencia en el borde y reconocimiento de actividad humana
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Redes neuronales recurrentes
Rnn
Lstm
Gru
Reconocimiento de actividad humana
Optimización
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 49
Citaciones: Sin citaciones
Las Redes Neuronales Recurrentes (RNNs) son una clase esencial de algoritmos de aprendizaje supervisado. tareas complejas como reconocimiento de voz, traducción automática, clasificación de sentimientos, predicción del clima, etc., ahora son realizadas por RNNs bien entrenadas. Máquinas GPU locales o en la nube se utilizan para entrenarlas. Sin embargo, la inferencia ahora se está trasladando a dispositivos en miniatura, móviles, IoT e incluso microcontroladores. Debido a sus enormes requisitos de memoria y computación, mapear RNNs directamente en plataformas con recursos limitados es arcano y desafiante. La eficacia de las RNNs (EI-RNNs) debe satisfacer tanto los requisitos de rendimiento como de ajuste de memoria al mismo tiempo sin comprometer uno por el otro. El objetivo de este estudio fue proporcionar una evaluación empírica y optimización de arquitecturas RNN históricas y recientes para objetivos de alto rendimiento y bajo consumo de memoria. Nos enfocamos en tareas de Reconocimiento de Actividad Humana (HAR) basadas en datos de sensores portátiles para aplicaciones de atención médica integradas. Evaluamos y optimizamos seis unidades recurrentes diferentes, a saber, RNNs de Vainilla, unidades de Memoria a Corto Plazo (LSTM), Unidades Recurrentes con Compuertas (GRUs), Redes Neuronales Recurrentes con Compuertas Rápidas (FGRNNs), Redes Neuronales Recurrentes Rápidas (FRNNs) y Redes Neuronales Recurrentes con Compuertas Unitarias (UGRNNs) en ocho conjuntos de datos HAR de series temporales disponibles públicamente. Utilizamos los protocolos de retención y validación cruzada para entrenar las RNNs. Empleamos la parametrización de rango bajo, el umbral duro iterativo y la compresión de reentrenamiento escaso para las RNNs. Descubrimos que un entrenamiento eficiente (es decir, procedimientos de manejo y preprocesamiento de datos, ajuste de hiperparámetros, etc., y métodos de compresión adecuados (como la parametrización de rango bajo y la poda iterativa) son críticos para optimizar las RNNs para el rendimiento y la eficiencia de memoria. Implementamos la inferencia de los modelos optimizados en Raspberry Pi.
Descripción
Las Redes Neuronales Recurrentes (RNNs) son una clase esencial de algoritmos de aprendizaje supervisado. tareas complejas como reconocimiento de voz, traducción automática, clasificación de sentimientos, predicción del clima, etc., ahora son realizadas por RNNs bien entrenadas. Máquinas GPU locales o en la nube se utilizan para entrenarlas. Sin embargo, la inferencia ahora se está trasladando a dispositivos en miniatura, móviles, IoT e incluso microcontroladores. Debido a sus enormes requisitos de memoria y computación, mapear RNNs directamente en plataformas con recursos limitados es arcano y desafiante. La eficacia de las RNNs (EI-RNNs) debe satisfacer tanto los requisitos de rendimiento como de ajuste de memoria al mismo tiempo sin comprometer uno por el otro. El objetivo de este estudio fue proporcionar una evaluación empírica y optimización de arquitecturas RNN históricas y recientes para objetivos de alto rendimiento y bajo consumo de memoria. Nos enfocamos en tareas de Reconocimiento de Actividad Humana (HAR) basadas en datos de sensores portátiles para aplicaciones de atención médica integradas. Evaluamos y optimizamos seis unidades recurrentes diferentes, a saber, RNNs de Vainilla, unidades de Memoria a Corto Plazo (LSTM), Unidades Recurrentes con Compuertas (GRUs), Redes Neuronales Recurrentes con Compuertas Rápidas (FGRNNs), Redes Neuronales Recurrentes Rápidas (FRNNs) y Redes Neuronales Recurrentes con Compuertas Unitarias (UGRNNs) en ocho conjuntos de datos HAR de series temporales disponibles públicamente. Utilizamos los protocolos de retención y validación cruzada para entrenar las RNNs. Empleamos la parametrización de rango bajo, el umbral duro iterativo y la compresión de reentrenamiento escaso para las RNNs. Descubrimos que un entrenamiento eficiente (es decir, procedimientos de manejo y preprocesamiento de datos, ajuste de hiperparámetros, etc., y métodos de compresión adecuados (como la parametrización de rango bajo y la poda iterativa) son críticos para optimizar las RNNs para el rendimiento y la eficiencia de memoria. Implementamos la inferencia de los modelos optimizados en Raspberry Pi.