Benchmarking en el aprendizaje automático en el sensor: una extensión de la suite MLCommons-Tiny
Autores: Aymone, Fabrizio Maria; Pau, Danilo Pietro
Idioma: Inglés
Editor: MDPI
Año: 2024
Acceso abierto
Artículo científico
2024
Benchmarking en el aprendizaje automático en el sensor: una extensión de la suite MLCommons-Tiny
Categoría
Gestión y administración
Subcategoría
Gestión de la tecnología y la inovación
Palabras clave
Propone
Referencia
Computación de aprendizaje automático digital en el sensor
Entrenamiento Consciente de Cuantización
Cuantización Post-Entrenamiento
Red neuronal.
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 1
Citaciones: Sin citaciones
Este documento propone un nuevo estándar diseñado específicamente para la computación de aprendizaje automático digital en sensores, con el fin de cumplir con un requisito de memoria embebida ultra-bajo. Con el crecimiento exponencial de los dispositivos de borde, el procesamiento local eficiente es esencial para mitigar los costos económicos, la latencia y las preocupaciones de privacidad asociadas con el procesamiento centralizado en la nube. Los sensores inteligentes emergentes, equipados con recursos de computación para ejecutar inferencias de redes neuronales y embebidos en el mismo paquete que alberga los elementos de detección, presentan nuevos desafíos debido a sus limitados recursos de memoria y habilidades computacionales. Este estándar evalúa modelos entrenados con Entrenamiento Consciente de Cuantización (QAT) y compara su rendimiento con Cuantización Post-Entrenamiento (PTQ) en tres casos de uso: Reconocimiento de Actividades Humanas (HAR) mediante el conjunto de datos SHL, Monitoreo de Actividades Físicas (PAM) mediante el conjunto de datos PAMAP2, y regresión de electromiografía superficial (sEMG) con el conjunto de datos NINAPRO DB8. Los resultados demuestran la efectividad de QAT sobre PTQ en la mayoría de los escenarios, destacando el potencial para desplegar modelos avanzados de IA en sensores con recursos altamente limitados. Las versiones INT8 de los modelos siempre superaron a sus versiones FP32 en cuanto a reducciones de memoria y latencia, excepto por las activaciones para CNN. El modelo CNN mostró un uso reducido de memoria y latencia en comparación con su contraparte densa, lo que le permitió cumplir con los estrictos límites de 8KiB de RAM de datos y 32 KiB de RAM de programa del ISPU. El modelo TCN resultó ser demasiado grande para ajustarse a las limitaciones de memoria del ISPU, principalmente debido a su mayor capacidad en términos de número de parámetros, diseñado para procesar señales más complejas como EMG. Este estándar tiene como objetivo guiar el desarrollo de soluciones de IA eficientes para la Computación de Aprendizaje Automático en Sensores, fomentando la innovación en el campo de la evaluación de IA en el borde, como la realizada por el grupo de trabajo MLCommons-Tiny.
Descripción
Este documento propone un nuevo estándar diseñado específicamente para la computación de aprendizaje automático digital en sensores, con el fin de cumplir con un requisito de memoria embebida ultra-bajo. Con el crecimiento exponencial de los dispositivos de borde, el procesamiento local eficiente es esencial para mitigar los costos económicos, la latencia y las preocupaciones de privacidad asociadas con el procesamiento centralizado en la nube. Los sensores inteligentes emergentes, equipados con recursos de computación para ejecutar inferencias de redes neuronales y embebidos en el mismo paquete que alberga los elementos de detección, presentan nuevos desafíos debido a sus limitados recursos de memoria y habilidades computacionales. Este estándar evalúa modelos entrenados con Entrenamiento Consciente de Cuantización (QAT) y compara su rendimiento con Cuantización Post-Entrenamiento (PTQ) en tres casos de uso: Reconocimiento de Actividades Humanas (HAR) mediante el conjunto de datos SHL, Monitoreo de Actividades Físicas (PAM) mediante el conjunto de datos PAMAP2, y regresión de electromiografía superficial (sEMG) con el conjunto de datos NINAPRO DB8. Los resultados demuestran la efectividad de QAT sobre PTQ en la mayoría de los escenarios, destacando el potencial para desplegar modelos avanzados de IA en sensores con recursos altamente limitados. Las versiones INT8 de los modelos siempre superaron a sus versiones FP32 en cuanto a reducciones de memoria y latencia, excepto por las activaciones para CNN. El modelo CNN mostró un uso reducido de memoria y latencia en comparación con su contraparte densa, lo que le permitió cumplir con los estrictos límites de 8KiB de RAM de datos y 32 KiB de RAM de programa del ISPU. El modelo TCN resultó ser demasiado grande para ajustarse a las limitaciones de memoria del ISPU, principalmente debido a su mayor capacidad en términos de número de parámetros, diseñado para procesar señales más complejas como EMG. Este estándar tiene como objetivo guiar el desarrollo de soluciones de IA eficientes para la Computación de Aprendizaje Automático en Sensores, fomentando la innovación en el campo de la evaluación de IA en el borde, como la realizada por el grupo de trabajo MLCommons-Tiny.