Fed-DeepONet: entrenamiento federado basado en gradiente estocástico de redes de operadores profundos
Autores: Moya, Christian; Lin, Guang
Idioma: Inglés
Editor: MDPI
Año: 2022
Acceso abierto
Artículo científico
2022
Fed-DeepONet: entrenamiento federado basado en gradiente estocástico de redes de operadores profundos
Categoría
Ingeniería y Tecnología
Subcategoría
Ingeniería de Software
Palabras clave
Deeponet
Arquitectura de red neuronal
Entrenamiento federado
Privacidad de datos
Computación distribuida
Algoritmo basado en gradiente estocástico
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 69
Citaciones: Sin citaciones
El marco de trabajo de la Red de Operadores Profundos (DeepONet) es una clase diferente de arquitectura de red neuronal que se entrena para aprender operadores no lineales, es decir, mapeos entre espacios de dimensiones infinitas. Tradicionalmente, los DeepONets se entrenan utilizando una estrategia centralizada que requiere transferir los datos de entrenamiento a una ubicación centralizada. Sin embargo, tal estrategia limita nuestra capacidad para asegurar la privacidad de los datos o utilizar plataformas informáticas distribuidas/paralelas de alto rendimiento. Para aliviar tales limitaciones, en este documento, estudiamos por primera vez el entrenamiento federado de DeepONets. Es decir, desarrollamos un marco de trabajo, al que nos referimos como , que permite a múltiples clientes entrenar DeepONets de manera colaborativa bajo la coordinación de un servidor centralizado. Para lograr Fed-DeepONets, proponemos un algoritmo eficiente basado en gradientes estocásticos que permite la optimización distribuida de los parámetros de DeepONet mediante el promedio de estimaciones de primer orden del gradiente de pérdida de DeepONet. Luego, para acelerar la convergencia del entrenamiento de Fed-DeepONets, proponemos una estrategia basada en gradientes estocásticos mejorada con momentos (es decir, adaptativa). Finalmente, verificamos el rendimiento de Fed-DeepONet aprendiendo, para diferentes configuraciones del número de clientes y fracciones de clientes disponibles, (i) el operador de solución de un péndulo gravitatorio y (ii) la respuesta dinámica de una biblioteca paramétrica de péndulos.
Descripción
El marco de trabajo de la Red de Operadores Profundos (DeepONet) es una clase diferente de arquitectura de red neuronal que se entrena para aprender operadores no lineales, es decir, mapeos entre espacios de dimensiones infinitas. Tradicionalmente, los DeepONets se entrenan utilizando una estrategia centralizada que requiere transferir los datos de entrenamiento a una ubicación centralizada. Sin embargo, tal estrategia limita nuestra capacidad para asegurar la privacidad de los datos o utilizar plataformas informáticas distribuidas/paralelas de alto rendimiento. Para aliviar tales limitaciones, en este documento, estudiamos por primera vez el entrenamiento federado de DeepONets. Es decir, desarrollamos un marco de trabajo, al que nos referimos como , que permite a múltiples clientes entrenar DeepONets de manera colaborativa bajo la coordinación de un servidor centralizado. Para lograr Fed-DeepONets, proponemos un algoritmo eficiente basado en gradientes estocásticos que permite la optimización distribuida de los parámetros de DeepONet mediante el promedio de estimaciones de primer orden del gradiente de pérdida de DeepONet. Luego, para acelerar la convergencia del entrenamiento de Fed-DeepONets, proponemos una estrategia basada en gradientes estocásticos mejorada con momentos (es decir, adaptativa). Finalmente, verificamos el rendimiento de Fed-DeepONet aprendiendo, para diferentes configuraciones del número de clientes y fracciones de clientes disponibles, (i) el operador de solución de un péndulo gravitatorio y (ii) la respuesta dinámica de una biblioteca paramétrica de péndulos.