Teleportación neural
Autores: Armenta, Marco; Judge, Thierry; Painchaud, Nathan; Skandarani, Youssef; Lemaire, Carl; Gibeau Sanchez, Gabriel; Spino, Philippe; Jodoin, Pierre-Marc
Idioma: Inglés
Editor: MDPI
Año: 2023
Acceso abierto
Artículo científico
2023
Teleportación neural
Categoría
Matemáticas
Subcategoría
Matemáticas generales
Palabras clave
Teleportación neural
Teoría de representación
Redes neuronales
Paisaje de pérdida
Mínimos globales
Gradientes retropropagados
Licencia
CC BY-SA – Atribución – Compartir Igual
Consultas: 33
Citaciones: Sin citaciones
En este artículo, exploramos un proceso llamado teletransportación neural, una consecuencia matemática de aplicar la teoría de representación de flechas a las redes neuronales. La teletransportación neural mueve una red a una nueva posición en el espacio de pesos y preserva su función. Este fenómeno proviene directamente de las definiciones de la teoría de representación aplicada a las redes neuronales y resulta ser una operación muy simple que tiene propiedades notables. Arrojamos luz sobre las sorprendentes y contra intuitivas consecuencias que la teletransportación neural tiene en el paisaje de pérdida. En particular, mostramos que la teletransportación puede ser utilizada para explorar curvas de nivel de pérdida, que cambia el paisaje de pérdida local, afila los mínimos globales y potencia los gradientes retropropagados en cualquier momento durante el proceso de aprendizaje.
Descripción
En este artículo, exploramos un proceso llamado teletransportación neural, una consecuencia matemática de aplicar la teoría de representación de flechas a las redes neuronales. La teletransportación neural mueve una red a una nueva posición en el espacio de pesos y preserva su función. Este fenómeno proviene directamente de las definiciones de la teoría de representación aplicada a las redes neuronales y resulta ser una operación muy simple que tiene propiedades notables. Arrojamos luz sobre las sorprendentes y contra intuitivas consecuencias que la teletransportación neural tiene en el paisaje de pérdida. En particular, mostramos que la teletransportación puede ser utilizada para explorar curvas de nivel de pérdida, que cambia el paisaje de pérdida local, afila los mínimos globales y potencia los gradientes retropropagados en cualquier momento durante el proceso de aprendizaje.