logo móvil
Contáctanos

Aproximación de función universal por redes neuronales profundas con ancho limitado y activaciones ReLU

Autores: Hanin, Boris

Idioma: Inglés

Editor: MDPI

Año: 2019

Descargar PDF

Acceso abierto

Artículo científico
2019

Aproximación de función universal por redes neuronales profundas con ancho limitado y activaciones ReLU


Categoría

Matemáticas

Subcategoría

Matemáticas generales

Palabras clave

Poder expresivo
Profundidad
Redes neuronales
Activaciones ReLU
Ancho limitado
Funciones convexas

Licencia

CC BY-SA – Atribución – Compartir Igual

Consultas: 33

Citaciones: Sin citaciones


Descripción
Este artículo trata sobre el poder expresivo de la profundidad en redes neuronales con activaciones ReLU y un ancho limitado. Estamos particularmente interesados en las siguientes preguntas: ¿Cuál es el ancho mínimo para que las redes ReLU de ancho (y profundidad arbitraria) puedan aproximar cualquier función continua en el cubo unitario de manera arbitrariamente buena? Para las redes ReLU cerca de este ancho mínimo, ¿qué se puede decir sobre la profundidad necesaria para aproximar una función dada? Obtenemos una respuesta esencialmente completa a estas preguntas para funciones convexas. Nuestro enfoque se basa en la observación de que, debido a la convexidad de la activación ReLU, las redes ReLU son particularmente adecuadas para representar funciones convexas. En particular, demostramos que las redes ReLU con ancho pueden aproximar cualquier función convexa continua de variables de manera arbitrariamente buena. Estos resultados luego proporcionan estimaciones de profundidad cuantitativas para la tasa de aproximación de cualquier función escalar continua en el cubo dimensional por redes ReLU con ancho .

Otros recursos que podrían interesarte

Temas Virtualpro