M-wdrnns: redes neuronales residuales profundas con peso mixto para problemas directos e inversos de EDP
Autores: Zheng, Jiachun; Yang, Yunlei
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
M-wdrnns: redes neuronales residuales profundas con peso mixto para problemas directos e inversos de EDP
Categoría
Matemáticas
Subcategoría
Análisis matemático
Palabras clave
Física
Redes neuronales
Ecuaciones diferenciales parciales
Patología del gradiente
Término de regularización
Precisión numérica
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 51
Citaciones: Sin citaciones
Las redes neuronales informadas por la física (PINNs) se han utilizado ampliamente para resolver ecuaciones diferenciales parciales en los últimos años. Sin embargo, estudios han demostrado que hay una patología de gradiente en las PINNs. Es decir, hay un problema de desequilibrio de gradiente en cada término de regularización durante la retropropagación, lo que hace que sea difícil que los modelos de redes neuronales aproximen con precisión las ecuaciones diferenciales parciales. Basándonos en la red neuronal residual ponderada por profundidad y el mecanismo de atención neuronal, proponemos un nuevo bloque residual ponderado mixto en el que los coeficientes ponderados son elegidos de forma autónoma por el algoritmo de optimización, y una de las redes transformadoras es reemplazada por una conexión de salto. Finalmente, probamos nuestros algoritmos con algunas ecuaciones diferenciales parciales, como la ecuación de Klein-Gordon no homogénea, la ecuación de advección-difusión (1+1) y la ecuación de Helmholtz. Los resultados experimentales muestran que el algoritmo propuesto mejora significativamente la precisión numérica.
Descripción
Las redes neuronales informadas por la física (PINNs) se han utilizado ampliamente para resolver ecuaciones diferenciales parciales en los últimos años. Sin embargo, estudios han demostrado que hay una patología de gradiente en las PINNs. Es decir, hay un problema de desequilibrio de gradiente en cada término de regularización durante la retropropagación, lo que hace que sea difícil que los modelos de redes neuronales aproximen con precisión las ecuaciones diferenciales parciales. Basándonos en la red neuronal residual ponderada por profundidad y el mecanismo de atención neuronal, proponemos un nuevo bloque residual ponderado mixto en el que los coeficientes ponderados son elegidos de forma autónoma por el algoritmo de optimización, y una de las redes transformadoras es reemplazada por una conexión de salto. Finalmente, probamos nuestros algoritmos con algunas ecuaciones diferenciales parciales, como la ecuación de Klein-Gordon no homogénea, la ecuación de advección-difusión (1+1) y la ecuación de Helmholtz. Los resultados experimentales muestran que el algoritmo propuesto mejora significativamente la precisión numérica.