Entrenamiento en dispositivo de modelos de aprendizaje automático en microcontroladores con aprendizaje federado
Autores: Llisterri Giménez, Nil; Monfort Grau, Marc; Pueyo Centelles, Roger; Freitag, Felix
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Entrenamiento en dispositivo de modelos de aprendizaje automático en microcontroladores con aprendizaje federado
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería Eléctrica y Electrónica
Palabras clave
Marcos de aprendizaje automático
Inferencia
Microcontroladores
Entrenamiento
Aprendizaje federado
Hiperparámetros
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 31
Citaciones: Sin citaciones
Los avances recientes en los marcos de aprendizaje automático han hecho posible realizar inferencias con modelos utilizando microcontroladores baratos y pequeños. El entrenamiento de modelos de aprendizaje automático para estos dispositivos pequeños, sin embargo, suele realizarse por separado en computadoras potentes. De esta manera, el proceso de entrenamiento cuenta con abundantes recursos de CPU y memoria para procesar grandes conjuntos de datos almacenados. En este trabajo, exploramos un enfoque diferente: entrenar el modelo de aprendizaje automático directamente en el microcontrolador y extender el proceso de entrenamiento con aprendizaje federado. Implementamos este enfoque para una tarea de detección de palabras clave. Realizamos experimentos con dispositivos reales para caracterizar el comportamiento de aprendizaje y el consumo de recursos para diferentes hiperparámetros y configuraciones de aprendizaje federado. Observamos que en el caso de entrenar localmente con menos datos, las rondas de aprendizaje federado más frecuentes redujeron más rápidamente la pérdida de entrenamiento pero implicaron un costo de mayor uso de ancho de banda y un tiempo de entrenamiento más largo. Nuestros resultados indican que, dependiendo de la aplicación específica, es necesario determinar el equilibrio entre los requisitos y el uso de recursos del sistema.
Descripción
Los avances recientes en los marcos de aprendizaje automático han hecho posible realizar inferencias con modelos utilizando microcontroladores baratos y pequeños. El entrenamiento de modelos de aprendizaje automático para estos dispositivos pequeños, sin embargo, suele realizarse por separado en computadoras potentes. De esta manera, el proceso de entrenamiento cuenta con abundantes recursos de CPU y memoria para procesar grandes conjuntos de datos almacenados. En este trabajo, exploramos un enfoque diferente: entrenar el modelo de aprendizaje automático directamente en el microcontrolador y extender el proceso de entrenamiento con aprendizaje federado. Implementamos este enfoque para una tarea de detección de palabras clave. Realizamos experimentos con dispositivos reales para caracterizar el comportamiento de aprendizaje y el consumo de recursos para diferentes hiperparámetros y configuraciones de aprendizaje federado. Observamos que en el caso de entrenar localmente con menos datos, las rondas de aprendizaje federado más frecuentes redujeron más rápidamente la pérdida de entrenamiento pero implicaron un costo de mayor uso de ancho de banda y un tiempo de entrenamiento más largo. Nuestros resultados indican que, dependiendo de la aplicación específica, es necesario determinar el equilibrio entre los requisitos y el uso de recursos del sistema.