Dirigido el equilibrio de propagación revisado
Autores: Costa, Pedro; Santos, Pedro A.
Idioma: Inglés
Editor: MDPI
Año: 2025
Acceso abierto
Artículo científico
2025
Dirigido el equilibrio de propagación revisado
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Propagación del equilibrio
EP
Retropropagación
Redes neuronales recurrentes
EP dirigida
DEEP
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 27
Citaciones: Sin citaciones
Equilibrium Propagation (EP) ofrece una alternativa inspirada en la biología al retropropagación para entrenar redes neuronales recurrentes, pero su dependencia de conexiones de retroalimentación simétricas y limitaciones de estabilidad dificultan su adopción práctica. El modelo DirEcted EP (DEEP) relaja la restricción de simetría, pero sufre de problemas de convergencia y carece de una garantía de aprendizaje fundamentada. En este trabajo, generalizamos DEEP incorporando fugas neuronales, proporcionando nuevos criterios de convergencia para la dinámica de la red. Además, proponemos una nueva regla de aprendizaje local estrechamente relacionada con el gradiente de la función objetivo y establecemos condiciones suficientes para un aprendizaje confiable en redes pequeñas. Nuestros resultados resuelven desafíos de estabilidad de larga data y acercan los modelos de aprendizaje basados en energía a una computación neuronal biológicamente plausible y efectiva de manera comprobada.
Descripción
Equilibrium Propagation (EP) ofrece una alternativa inspirada en la biología al retropropagación para entrenar redes neuronales recurrentes, pero su dependencia de conexiones de retroalimentación simétricas y limitaciones de estabilidad dificultan su adopción práctica. El modelo DirEcted EP (DEEP) relaja la restricción de simetría, pero sufre de problemas de convergencia y carece de una garantía de aprendizaje fundamentada. En este trabajo, generalizamos DEEP incorporando fugas neuronales, proporcionando nuevos criterios de convergencia para la dinámica de la red. Además, proponemos una nueva regla de aprendizaje local estrechamente relacionada con el gradiente de la función objetivo y establecemos condiciones suficientes para un aprendizaje confiable en redes pequeñas. Nuestros resultados resuelven desafíos de estabilidad de larga data y acercan los modelos de aprendizaje basados en energía a una computación neuronal biológicamente plausible y efectiva de manera comprobada.