logo móvil
Contáctanos

Teleportación neural

Autores: Armenta, Marco; Judge, Thierry; Painchaud, Nathan; Skandarani, Youssef; Lemaire, Carl; Gibeau Sanchez, Gabriel; Spino, Philippe; Jodoin, Pierre-Marc

Idioma: Inglés

Editor: MDPI

Año: 2023

Descargar PDF

Acceso abierto

Artículo científico
2023

Teleportación neural


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Teleportación neural
Teoría de representación
Redes neuronales
Paisaje de pérdida
Mínimos globales
Gradientes retropropagados

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 33

Citaciones: Sin citaciones


Descripción
En este artículo, exploramos un proceso llamado teletransportación neural, una consecuencia matemática de aplicar la teoría de representación de flechas a las redes neuronales. La teletransportación neural mueve una red a una nueva posición en el espacio de pesos y preserva su función. Este fenómeno proviene directamente de las definiciones de la teoría de representación aplicada a las redes neuronales y resulta ser una operación muy simple que tiene propiedades notables. Arrojamos luz sobre las sorprendentes y contra intuitivas consecuencias que la teletransportación neural tiene en el paisaje de pérdida. En particular, mostramos que la teletransportación puede ser utilizada para explorar curvas de nivel de pérdida, que cambia el paisaje de pérdida local, afila los mínimos globales y potencia los gradientes retropropagados en cualquier momento durante el proceso de aprendizaje.

Otros recursos que podrían interesarte

Temas Virtualpro